핵심 요약
AWS의 F&F가 Bedrock 기반 사내 LLM 게이트웨이와 LiteLLM를 통해 키 발급, 모델 승인, 예산 차단, 사용량 감사까지 하나의 운영 수명주기로 관리하는 거버넌스 운영 모델을 구현했다.
구현 방법
- 이원 아키텍처: 컨트롤 플레인(클라우드 포털)과 데이터 플레인(LiteLLM 게이트웨이), Amazon Bedrock으로 구성
- 인프라 관리: Terraform과 GitOps(Argo CD)로 모든 구성 코드화
- 식별/권한: 서비스 단위 귀속은 svc:{서비스명}, 개인은 이메일(user.email)로 귀속, 포털 로그인은 Microsoft Entra ID SSO 사용
- 모델 접근 관리: model_list의 access_groups로 일반/서비스/제한 모델 구분, 최상위 모델은 관리자 승인 흐름으로 제한
- 예산 거버넌스: 1계층 개인 키 max_budget(일 단위), 2계층 프로젝트 spend(월 단위); 임계치 초과 시 게이트웨이가 429 차단, 80% 경고, 100% 차단
- 가시성 및 감사: CloudWatch Logs, S3 저장, CloudTrail로 로깅/감사 연계; LiteLLM의 지출 API와 Bedrock 호출 로깅으로 비용/사용량 추적
- 발급 흐름: 포털에서 목적/서비스 메타데이터 입력 → LiteLLM으로 가상 키 발급 → 사용처별 설정 스니펫 자동 제공
- 운영 확장: 전사 확대를 위한 견고한 설계, 파트너 지원으로 설계/실측 보강
주요 결과
- 발급-첫 호출까지 평균 3분 이내 달성
- 403(model access denied)으로 미승인 접근 차단, 승인 후 정상 처리
- 2계층 예산 차단으로 자동 차단 및 비용 관리 강화
- 사용량 및 비용의 투명성 확보로 감사 가능한 거버넌스 구현
- Internal ALB 및 네트워크 분리로 내부 보안 강화, 로그 및 모니터링으로 운영 신뢰성 확보
