핵심 요약
토스는 LLM 서빙 생태계의 원인 파악과 안정성 강화를 위해 MLHub를 구축하고, 다중 지표 모니터링으로 TTFT를 약 20초에서 2초로 단축하며 에러율을 0.2%에서 0.02%로 감소시키는 성과를 거두었습니다.
구현 방법
- MLHub로 로그/메트릭 정규화 및 단일 대시보드 구성
- Grafana(메트릭)와 Kibana(로그)로 모니터링 이원화
- vLLM/SGLang 지표 통합 및 Prefix/KV 캐시 최적화
- 안정적 배포와 롤백 체계 마련
주요 결과
- TTFT 20초 → 약 2초로 감소
- Prefix Cache Hit Rate 90% 이상
- 동시성 20까지 확장, 4배 트래픽 수용 가능
- 다지표 기반 원인 파악으로 신속 대응 체계 구축
