핵심 요약
당근이 프롬프트 캐시의 원리와 캐시 관리로 LLM 비용 급등 현상을 분석하고, 구분점 관리와 템플릿 도입으로 주제 분류 히트율을 95% 안팎으로 끌어올리며 요청당 비용을 약 1/5로 낮춘 사례를 공유합니다.
주요 경험
- 프롬프트 KV 캐시와 prefill, prompt_cache_breakpoint의 작동 원리를 실무에 적용
- 같은 지시문에 대해 구분점을 명시적으로 추가해 자동 구분점의 제약을 보완
- 템플릿 기반 관리로 주제 분류 히트율을 높이고 비용을 크게 절감
얻은 인사이트
- 운영 조건 변경이 비용에 큰 영향을 준다는 점
- 구분점 위치와 캐시 상태의 상호 작용이 히트율 및 비용의 핵심 요인이라는 점
