핵심 요약
AWS가 Claude Code와 Codex를 Amazon Bedrock으로 한 곳에서 운영하기 위한 단일 LLM Gateway 아키텍처를 제시하며, 도구 자유도와 조직 거버넌스를 동시에 달성하는 운영 체계를 설명합니다.
구현 방법
- LiteLLM 기반의 단일 엔드포인트 게이트웨이 구성: 서울 리전 Private Subnet에 EC2로 설치하고 로그/메트릭은 Amazon RDS for PostgreSQL에 저장
- 모델 간 호출 차이를 내부에서 흡수: Claude Code(Bedrock Runtime Invoke API, IAM Role 인증)와 Codex(Bedrock Mantle, API Key 인증)을 하나의 게이트웨이로 통합
- 네트워크 구성: 완전한 프라이빗 네트워크 및 리전 간 네트워크 경로 관리로 퍼블릭 네트워크 의존 최소화
- MCP 관리의 중앙화: MCP 서버 자격증명을 게이트웨이에서 중앙 관리하고 API Key로 인증 및 권한 제어
- 보안 Guardrails의 통합 적용: 프롬프트/자격증명/PII/프롬프트 인젝션 차단 등 공통 정책 적용
- Observability의 단일 로깅 통합: 호출 로그, 토큰 사용량, 응답 등 일관된 로깅으로 Bedrock-Runtime과 Mantle 간 차이를 게이트웨이에서 보정
- 비용 관리의 중앙화: 개발자별 API Key 단위 예산 설정 및 초과 시 실시간 차단
- MCP 도구 호출의 관측 및 제어: 도구 호출(tool_use, tool_result)을 LLM Gateway 로그에서 추적
- 운영 편의성: 도구 선택 자유도 유지하면서 거버넌스 및 보안 정책 일관성 확보
주요 결과
- 단일 엔드포인트로 Claude Code와 Codex를 일관되게 사용 가능
- 비용 관리가 중앙에서 실시간으로 적용되어 예산 초과 리스크 감소
- MCP 서버 관리가 중앙화되어 자격증명 분산 방지 및 호출 내역 추적 용이
- 보안 Guardrails가 단일 지점에서 일관 적용되어 프롬프트 인젝션 및 노출 위험 감소
- Observability가 한 곳에서 통합되며 Bedrock Runtime/Mantle의 로깅 차이를 보완
