Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그

학습에이전트 - Building the Brain

인프랩 favicon인프랩·Architecture·
JavaLLMSpring MVCVirtual ThreadsSpring AI
2026년 06월 30일0

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

인프랩이 학습 에이전트의 백엔드를 Spring MVC + Virtual Thread로 설계·구현하여 대량 채팅 트래픽을 안정적으로 처리하고, 컨텍스트·도구 설계 및 비용 최적화 전략으로 확장성을 확보했습니다.

구현 방법

  • 고동시성 백엔드 아키텍처: Spring MVC에 Virtual Thread 도입으로 쓰레드 고갈 없이 대량 트래픽를 처리하고, ADR로 의사결정을 기록했습니다.
  • 컨텍스트/도구 설계: 커리큘럼, 수강 현황, 자막/영상 프레임, 유저 메모리 등 다양한 컨텍스트를 정의하고 필요 시 동적으로 로드하는 도구 구조를 구성했습니다.
  • 품질 관리 및 비용 최적화: Golden Dataset과 평가관/조교/LLM-Code 워크플로우로 답변 품질을 개선하고, 프롬프트 캐싱을 통해 비용과 응답 지연을 관리했습니다. ChatClient를 역할별로 분리해 시스템 프롬프트 토큰을 줄였습니다. 명시적 캐싱(Gemini)을 도입하여 토큰 비용 절감을 실현했습니다.

주요 결과

  • 대량 채팅 트래픽에서도 안정적 응답 유지 및 확장성 확보
  • 품질 관리 워크플로우 및 비용 최적화로 운영 효율성 증가
  • ADR 및 컨텍스트 파일링으로 의사결정 기록과 협업 시 맥락 공유가 강화

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
JobKorea LOOP 에이전트 개발기: 5. 멀티에이전트시스템을 위한 안내서 — 이론편 섬네일
79%

JobKorea LOOP 에이전트 개발기: 5. 멀티에이전트시스템을 위한 안내서 — 이론편

잡코리아 favicon잡코리아·2025년 09월 09일
T4 GPU 1장으로 일궈낸 올리브영의 Gemma 3 기반 sLLM 구축기 섬네일
77%

T4 GPU 1장으로 일궈낸 올리브영의 Gemma 3 기반 sLLM 구축기

올리브영 favicon올리브영·2026년 01월 21일
No Image
77%

JobKorea LOOP 에이전트 개발기: 6. 멀티에이전트시스템을 위한 안내서 — 실전편

잡코리아 favicon잡코리아·2026년 01월 06일