핵심 요약
구글은 엔드투엔드 벤치마크의 비용과 속도 문제, 원인 진단의 부재를 해결하기 위해 행동 기반 평가를 도입했다. 빠르고 로컬한 단위 테스트로 중간 단계의 구체적 행동(도구 호출, 파일 수정 등)을 검증하고, 매크로 벤치마크와 병행해 미세한 검증을 추가한다. 이를 통해 시스템 프롬프트를 안전하게 개선하고 모델 업그레이드 시 회귀 위험을 줄일 수 있다.
주요 경험
- 엔드투엔드 벤치마크의 한계 지적 및 대안 채택
- 빠른 로컬 단위 테스트로 중간 행동 검증 구현
- 매크로 벤치마크와의 병행으로 피드백 주기 단축
얻은 인사이트
- 미시적 검사와 매크로 벤치마크의 병행이 회귀 위험 감소와 피드백 속도 향상에 기여
- 구체적 중간 행동 검증으로 문제 원인 추적이 용이해짐
- 시스템 프롬프트와 모델 업그레이드의 신뢰도 향상
