핵심 요약
인프랩이 사내 LLM API 호출을 한곳으로 모은 AI Gateway를 구축해 키 관리, 라우팅, 사용량 관측을 중앙화했습니다. Envoy AI Gateway 기반으로 AIGatewayRoute, AIServiceBackend, BackendSecurityPolicy를 정의하고, 모델을 high/medium/low 세 등급으로 치환해 관리합니다. 8월 적용 후 총 비용은 최고치 대비 약 78% 감소했고, medium 등급의 실제 단가도 100만 토큰당 $0.18로 관리됩니다.
구현 방법
- Envoy AI Gateway를 컨트롤 플레인/데이터 플레인으로 구성하고 AIGatewayRoute, AIServiceBackend, BackendSecurityPolicy를 선언
- 모델을 high/medium/low 3등급으로 노출하고 다수 공급사 모델 간 우선순위로 자동 교체
- 서비스 식별 헤더(X-Service-Feature)로 사용량/비용을 중앙 대시보드에서 추적하고 GitOps로 배포
주요 결과
- 총 LLM 비용이 최대치 대비 약 78% 감소
- medium 등급의 단가가 100만 토큰당 $0.18로 관리
- 약 30여 개 서비스가 게이트웨이 경유로 LLM을 호출하며 키 관리가 제거


