핵심 요약
토스가 SNAP으로 간단한 요청은 소형 내재화 모델로 처리하고, 어려운 요청은 LLM으로 Fallback하는 자동화 워크플로를 구축해 LLM 비용과 Latency를 대폭 줄였습니다. 로그를 기반으로 후보를 자동 발굴하고 학습-서빙까지 연결하는 파이프라인을 운영에 적용했으며, 첫 배포에서 커버리지 34.74%를 확인했습니다.
주요 경험
- LLM 로그를 Task Fingerprint로 묶고 비용 기반 상위 30개 작업을 후보로 자동 선발하는 파이프라인을 구현했습니다.
- SNAP의 규칙(쉬운 요청은 소형 모델, 어려운 요청은 LLM, Fallback은 Confidence와 Offline 검증으로 결정)을 운영에 적용했습니다.
- 텍스트 기반 동일상품 판별에 대한 첫 내재화 모델 배포로 목표 일치율 99.9%를 달성하고 커버리지 34.74%를 확인했으며, 입력 토큰 약 76억, 출력 토큰 약 4,520만으로 LLM 토큰 사용을 크게 감소시켰습니다.
- GenAI Gateway를 통해 내재화 모델을 호출하고 p50 7.24ms, p99 15.23ms의 응답 시간을 확인했습니다.
- 부분 적용으로 시작해 비용 절감을 실현했고, 후보 발굴-학습 자동화를 통해 확장성을 확보했습니다.
얻은 인사이트
- 작은 모델이 쉬운 요청을 신뢰성 있게 처리하면 LLM 비용이 초기부터 감소합니다.
- Threshold 조정으로 커버리지와 품질의 균형을 맞출 수 있습니다.
- 데이터 파이프라인의 자동화는 새로운 작업의 빠른 내재화를 가능하게 합니다.
- LoRA 등 어댑터 학습과 의사결정 엔진형 모델 등 확장 가능성을 탐색하고 있습니다.
