핵심 요약
AWS의 GS Neotek가 Bedrock 기반 코딩 어시스턴트를 위한 경량 비용 통제 아키텍처를 제시했습니다. LLM Gateway 없이 Bedrock 로그를 주기적으로 집계해 예산 초과 사용자를 차단하는 방식으로, 로그 적재 지연 수분 내의 반영을 허용하며 빠른 시범 도입과 점진적 확장을 가능하게 합니다.
구현 방법
- Bedrock Model Invocation Logging을 통해 모델 호출 로그를 S3/CloudWatch에 저장(identity.arn, modelId, input/output 토큰 수 등 포함)
- AWS Organizations + IAM Identity Center 환경에서 로그에 예약 역할 ARN 또는 IAM User ARN이 남도록 식별
- Amazon Athena를 활용한 월간 사용자별 모델별 토큰 집계 및 비용 계산
- Lambda 기반의 비용 계산 함수 및 차단 여부 판단 로직 구현
- DynamoDB에 월별 사용자 비용 테이블 저장(복합 키: month + identity_arn)
- 예산 초과 시 차단 대상자 식별 및 IAM 관리형 정책(Deny 정책) 혹은 SCP 적용으로 차단
- 비용 통제 주기: EventBridge 스케줄러로 최소 1분에서 최대 15분 간격 실행, 일반적으로 5분 간격 권장
- 로그 기반 차단의 한계 인지: 실시간(pre-request) 차단은 불가하나 near-real-time 반영 가능
- 확장 로드맵: 필요 시 LLM Gateway 기반 실시간 차단으로의 단계적 전환 가능
주요 결과
- 서버리스 파이프라인으로 운영 비용과 유지보수 부담 최소화
- 수 분 지연의 로그 기반 차단으로도 중견 조직 규모의 비용 관리가 가능하다고 제시
- 빠른 도입과 점진적 확장에 적합한 검증된 패턴으로 다수 고객 환경에 재사용 가능
