핵심 요약
인포그랩은 Prometheus 2 기반 프롬프트 품질 평가와 OpenAI API 기반 절대 평가를 통해 프롬프트 성능을 정량 비교하는 방법을 소개합니다.
주요 특징
- Prometheus Eval과 VLLM으로 절대 평가를 수행하고, 필요 시 상대 평가도 지원
- ABSOLUTE_PROMPT, SCORE_RUBRIC 템플릿을 활용한 자동 채점 파이프라인
- instruction/response/rubric_data 구조로 재현 가능하며 다수 프롬프트에 적용 가능
- OpenAI API 기반 평가와 로컬 실행 간 비교 검증 가능
적용 고려사항
- Python 3.12.10 환경에서 실행, pip로 vllm 및 prometheus_eval 설치
- 모델은 prometheus-eval/prometheus-7b-v2.0을 기본으로 사용
- 데이터 구성은 instruction, response, rubric_data 형태로 준비
- 비용 관리 및 API 한도, 보안 측면을 고려
