핵심 요약
인프랩이 학습 에이전트의 백엔드를 Spring MVC + Virtual Thread로 설계·구현하여 대량 채팅 트래픽을 안정적으로 처리하고, 컨텍스트·도구 설계 및 비용 최적화 전략으로 확장성을 확보했습니다.
구현 방법
- 고동시성 백엔드 아키텍처: Spring MVC에 Virtual Thread 도입으로 쓰레드 고갈 없이 대량 트래픽를 처리하고, ADR로 의사결정을 기록했습니다.
- 컨텍스트/도구 설계: 커리큘럼, 수강 현황, 자막/영상 프레임, 유저 메모리 등 다양한 컨텍스트를 정의하고 필요 시 동적으로 로드하는 도구 구조를 구성했습니다.
- 품질 관리 및 비용 최적화: Golden Dataset과 평가관/조교/LLM-Code 워크플로우로 답변 품질을 개선하고, 프롬프트 캐싱을 통해 비용과 응답 지연을 관리했습니다. ChatClient를 역할별로 분리해 시스템 프롬프트 토큰을 줄였습니다. 명시적 캐싱(Gemini)을 도입하여 토큰 비용 절감을 실현했습니다.
주요 결과
- 대량 채팅 트래픽에서도 안정적 응답 유지 및 확장성 확보
- 품질 관리 워크플로우 및 비용 최적화로 운영 효율성 증가
- ADR 및 컨텍스트 파일링으로 의사결정 기록과 협업 시 맥락 공유가 강화

