핵심 요약
넷플릭스가 LLM 판단 시스템을 구축하고, 인간 판단에 기반해 학습·배포를 관리하는 4단계 라이프사이클로 신뢰성을 유지하는 접근을 제시했습니다.
구현 방법
- Generator, Judge, Reflector, Meta-Judge로 구성된 아키텍처 도입
- Reasoning-Aligned Rubric Tuning(RART)으로 루브릭 지속 개선
- Birth/Training/Deployment/HITL Drift Monitoring의 네 단계 파이프라인 및 인간 감독
- Specificity, Recall, Reasoning agreement 등 메트릭으로 평가
주요 결과
- RART로 정답-오류 이유 보정 및 추론 일치성 향상
- Gate와 Critic 역할로 출력 품질 안정화
- 드리프트 감지 시 재훈련 및 벤치마크 보강으로 지속 개선
