핵심 요약
AWS가 Amazon Bedrock 모델을 대상으로 promptfoo로 성능을 평가하고, Claude Sonnet 4.6, Claude Haiku 3, Nova Pro를 비교합니다. 채점용 모델까지 Bedrock으로 구성해 한 곳에서 관리하며, 로컬 우선 실행과 YAML 기반 설정의 이점을 활용합니다.
구현 방법
- Bedrock 인증 설정: AWS CLI 자격 증명 또는 환경 변수 활용
- 모델 확인 및 크로스 리전 프리픽스/추론 프로필 구성
- 테스트 구성: prompts, providers, tests를 YAML로 정의하고 eval 실행
- 평가 방식: 결정적 평가와 llm-rubric 기반 모델 평가의 혼합, 필요 시 비용 관리 고려
주요 결과
- 6건의 테스트 케이스 수행, 모두 성공
- 총 토큰 사용량 22,742; 생성에 2,960 토큰, 채점에 19,782 토큰 사용
