핵심 요약
AWS가 CJ올리브네트웍스의 LLM Gateway 구축 사례를 통해 Bedrock·Claude Platform on AWS·사내 오픈모델을 단일 엔드포인트로 연결하고, 인증·예산·데이터 가시성을 중앙에서 관리하는 거버넌스 모델을 제시했습니다.
구현 방법
- 단일 엔드포인트로 다중 모델 연결과 모델 전환 흐름 구성
- VK 발급, 예산 확인, 호출량 제한, 비용 기록의 흐름
- Stateless 게이트웨이 파드와 외부 저장소(Aurora, S3, ElastiCache) 공유
- NAT Gateway로 IDC 방화벽 이슈 해결 및 gateway-cli 도입
주요 결과
- 모든 호출과 사용 데이터를 추적 가능
- 예산 소진 시 사내 오픈모델로 전환해 업무 지속성 확보
- 정책 일관성 유지와 장애 격리로 가용성 향상
