핵심 요약
삼성전자의 JEV 판정 계약을 사내 LLM에 적용해 JEV의 Q&A 형식을 LLM Gateway의 판정 API에 매핑하고, 사내 소형 LLM에 짧은 결정을 맡긴 사례입니다.
구현 방법
- JEV의 질문과 답 형식을 LLM Gateway 판정 API에 구현
- 사내 소형 LLM에 짧은 결정을 위임하는 파이프라인 구성
- 출력 간소화 설계 및 파이프라인의 안정성 확보
주요 결과
- 항목당 지연 시간 1,534ms → 804ms로 단축
- CodeReviewWar에서 라벨 오류로 탈락한 지적 사항만 재판정하는 기능 적용
- 판정 계약 구현 및 속도 개선 과정, 기존 리뷰 보존 원칙의 적용