핵심 요약
무신사는 LLM 비용을 64% 절감하고 캐시 히트율 98%를 달성한 프롬프트 캐싱 사례를 공개합니다.
구현 방법
- LangChain4j의 ChatModelListener로 Bedrock 호출을 API별 토큰/지연/에러 등으로 수집하고 Grafana로 시각화해 가시성을 확보했습니다.
- 시스템 프롏프트와 메시지 프롬프트를 분리하고 Bedrock Converse API의 캐시 포인트를 추가하여 1시간 TTL로 캐시를 적용했습니다.
- 비용 시뮬레이션 도입으로 우선순위를 선정하고, 1주일간 대시보드로 실측을 검증했습니다.
주요 결과
- 캐시 히트율 98% 달성
- 전체 LLM 청구액 64% 감소
- 동일 시스템 프롬프트 재사용으로 토큰 사용 대폭 감소
