핵심 요약
AWS가 프로덕션-레디 확산 언어 모델(DLM) 검증을 위한 평가 게이트를 구축하고, GraphRAG 기반 사실 주입과 DiffusionGemma 아키텍처를 적용해 정확도와 속도를 크게 개선했습니다.
구현 방법
- DiffusionGemma: 캔버스 256토큰 병렬 생성, 블록 간은 순차, KV 캐시 확정
- GraphRAG: 타입 그래프 저장 + 하이브리드 검색 + 정정 데이터 반영
- 인퍼런스/채점: SageMaker Training Job, NVFP4 양자화, vLLM 기반 생성, Bedrock Claude Sonnet 채점, HITL 루프 교정
주요 결과
- 사실 정밀도 0.984(95% CI 0.973~0.994), 환각 3%
- 지연 시간: P50 421ms, P95 629ms(DLM) vs AR 1509ms/2324ms
- 멀티턴 통과 100%, 엔티티 커버리지 0.91, 페르소나 4.9, 자연스러움 4.8
