핵심 요약
인포그랩은 AI 코드 리뷰 자동화에서 LLM의 비결정성으로 판정이 매번 달라지는 원인을 분석하고, temperature를 0으로 내려도 흔들림이 남는 상황을 다룹니다. 코드 위임·폭 좁히기·다수결·하네스로 일관성 향상을 노리는 네 가지 방법을 제시하고 55회 호출 실험의 관찰 결과를 정리했습니다.
구현 방법
- 코드 위임 및 판단 모듈화 설계
- 판단 범위 축소를 통한 도메인 제약
- 다수결 체계 도입과 합의 절차 정립
- 하네스 기반 합의 판정
주요 결과
- 네 가지 접근으로 판정의 일관성 확보 가능성을 제시
- 55회 호출 실험에서의 관찰 경향과 실무 적용 포인트