핵심 요약
AWS가 Amazon Bedrock 기반 엔터프라이즈 게이트웨이에서 호출자 추적과 모델 거버넌스를 네이티브 Bedrock 로그와 연계하는 설계를 제시했습니다.
구현 방법
- X-Amzn-Bedrock-Request-Metadata 헤더 주입과 LiteLLM의 SigV4 래핑으로 게이트웨이 뒤 호출자의 식별 정보를 Bedrock 로그에 남깁니다.
- 모델 축은 Application Inference Profile 경유로 모델별 관측성(CloudWatch 메트릭)과 접근 거버넌스를 확보하고, profile ARN으로 라우팅합니다.
- LiteLLM과 Bedrock 로그를 litellm_call_id로 연계하고, Virtual Key 예산과 IAM Identity Center 기반 팀 매핑으로 운영 제어를 수행합니다.
주요 결과
- Bedrock 로그에서 최종 호출자 정보를 확인할 수 있게 되어 보안 감사가 가능해집니다.
- 모델별 사용량/스로틀 관측 및 모델 접근 거버넌스가 강화됩니다.
- 예산 강제 및 팀 매핑으로 운영 비용 관리가 일관되고 자동화됩니다.
