핵심 요약
AWS가 SGLang과 Qwen3-VL-8B를 활용한 다국어/멀티모달 판단 모델 아키텍처를 공개하고, Open Source 기반으로 Decision Model을 Bedrock AgentCore에서 호스팅하는 설계를 제시합니다.
구현 방법
- Bedrock AgentCore Runtime에서 AI Agent를 호스팅하고, 판단 노드를 VPC Private Subnet의 SGLang Decision Model로 호출
- SGLang+Qwen3-VL-8B로 텍스트/이미지 판단 엔진 구성, D1~D4 흐름으로 판단 수행
- 이미지 판단은 /v1/chat/completions 경로를 사용하며, image_url과 base64 Data URL 두 방식 지원
- /v1/systemone의 이미지 입력은 아직 미지원이므로 경로 차이를 명확히 구분
- 구성 A(Claude Haiku 4.5) 대비 구성 B(SGLang+Qwen3-VL-8B)에서 Latency·비용 개선 확인
- 다국어 평가를 포함한 벤치마크와 Wvocab 기반 Zero-shot 다국어 판단의 이점 강조
주요 결과
- e2e p50 Latency 약 33.6% 감소: 6,167ms → 4,096ms
- 판단 노드 합계 Latency 약 93% 감소: 2,089ms → 143ms
- 1회당 Latency 약 531–552ms → 34–38ms로 단축
- 대화당 비용 GPU 포함 약 18% 절감
- 품질은 대체로 유지되나 안전 판단은 Frontier 모델과의 Hybrid 권장



