핵심 요약
AWS가 Bedrock과 SageMaker AI 기반 환경에서 KB증권의 깨비AI에 Tier-Routing을 도입해 평균 품질 차이를 0.4점 이내로 유지하면서 토큰 사용량을 36% 감소시키고, 클라우드 API 비용을 16% 줄였으며, 중간 난이도 요청의 응답 시간을 29% 단축했습니다.
구현 방법
- Amazon Bedrock 및 SageMaker AI 기반의 학습 환경을 활용한 멀티턴 Context Tier-Routing 설계 및 구현
- 질의 난이도 판단에 필요한 입력 특징: current_user_query, recent_context, tool_roundtrip_depth, turn_tool_call_count_before, latest_tool_result_count, latest_tool_result_char_length
- Elevate-only 정책 및 Fail-open 라우팅 도입으로 안정성과 비용 효율성 균형 확보
- 에이전트 루프에서 LLM 호출과 Tool 실행의 다단계 흐름을 관리하는 라우팅 재판정
- 로그를 원천으로 한 라우팅 샘플링과 XGBoost 기반 분류기로 STANDARD/ADVANCED 예측 체계 구성
- 프롬프트 캐시 활용을 극대화하기 위한 동일 모델 유지 전략과 캐시 관리
주요 결과
- 평균 품질 점수 차이를 0.4점 이내로 유지
- 전체 토큰 사용량 36% 감소
- 클라우드 API 비용 16% 감소
- 중간 난이도 요청의 응답 시간 29% 단축
- Elevate-only 정책으로 모델 전환으로 인한 캐시 손실 최소화 및 일관된 응답 품질 확보
