Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그

사내 LLM 요청을 한곳으로 모은 AI Gateway 구축기

인프랩 favicon인프랩·Architecture·
KubernetesPrometheusOpenTelemetryGitOpsEnvoy AI Gateway
2026년 09월 08일0

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

인프랩이 사내 LLM API 호출을 한곳으로 모은 AI Gateway를 구축해 키 관리, 라우팅, 사용량 관측을 중앙화했습니다. Envoy AI Gateway 기반으로 AIGatewayRoute, AIServiceBackend, BackendSecurityPolicy를 정의하고, 모델을 high/medium/low 세 등급으로 치환해 관리합니다. 8월 적용 후 총 비용은 최고치 대비 약 78% 감소했고, medium 등급의 실제 단가도 100만 토큰당 $0.18로 관리됩니다.

구현 방법

  • Envoy AI Gateway를 컨트롤 플레인/데이터 플레인으로 구성하고 AIGatewayRoute, AIServiceBackend, BackendSecurityPolicy를 선언
  • 모델을 high/medium/low 3등급으로 노출하고 다수 공급사 모델 간 우선순위로 자동 교체
  • 서비스 식별 헤더(X-Service-Feature)로 사용량/비용을 중앙 대시보드에서 추적하고 GitOps로 배포

주요 결과

  • 총 LLM 비용이 최대치 대비 약 78% 감소
  • medium 등급의 단가가 100만 토큰당 $0.18로 관리
  • 약 30여 개 서비스가 게이트웨이 경유로 LLM을 호출하며 키 관리가 제거

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
Amazon Bedrock 기반 사내 LLM, 키 발급부터 비용 차단까지: F&F의 LiteLLM 게이트웨이 운영 사례 섬네일
76%

Amazon Bedrock 기반 사내 LLM, 키 발급부터 비용 차단까지: F&F의 LiteLLM 게이트웨이 운영 사례

AWS faviconAWS·2026년 08월 17일
CJ올리브네트웍스의 LLM Gateway 구축 – 모델 접근, 비용 통합 관리 섬네일
75%

CJ올리브네트웍스의 LLM Gateway 구축 – 모델 접근, 비용 통합 관리

AWS faviconAWS·2026년 11월 02일
GS리테일의 전사 AI Gateway 구축 사례 – 2부: 실사용을 견디는 운영과 거버넌스 섬네일
74%

GS리테일의 전사 AI Gateway 구축 사례 – 2부: 실사용을 견디는 운영과 거버넌스

AWS faviconAWS·2026년 09월 07일