핵심 요약
NAVER D2가 코드와 문서만 읽는 LLM 평가로 3문제, 25팀, 100여 명의 해커톤을 심사했고, LLM 평가단과 사람 심사의 일치 사례를 확인했습니다. 반복 평가(5회)에서도 상위권의 안정성을 관찰했습니다.
주요 경험
- 4축 루브릭: 기능성 40점, 기술 20점, 차별성 20점, 문서 20점으로 공정한 평가 체계 구축
- 팀별 채점/문제 취합/한 줄 평 작성의 분리로 편향 차단
- Codex 기반 채점 에이전트로 문제별 루브릭을 코드와 문서에 적용
- 문제별 중점 스킬 차이가 있어도 같은 축으로 결과를 비교 가능
얻은 인사이트
- 구체적 루브릭이 있으면 코드와 문서만 읽은 LLM도 사람에 근접한 판단에 도달
- 반복 평가로 평가의 안정성과 신뢰성 향상 가능
- 같은 평가 축을 공유하면 작은 코드베이스에서도 일관된 판단 확보
