핵심 요약
AWS의 Bedrock 기반 지식 증류 실험에서 Nova Premier 1.0을 교사 모델로, Nova Lite 1.0을 학생 모델로 선정해 지식 증류를 수행하고, 커스텀 모델 온디맨드 배포를 활용해 비용 효율성과 빠른 실험 주기를 달성했습니다.
구현 방법
- 학습 데이터 생성: 합성 데이터 100샘플을 생성하고 OpenAI 포맷에 맞춘 학습 데이터로 S3에 업로드 및 IAM 권한 설정
- 모델 구성: 교사 모델 Nova Premier 1.0, 학생 모델 Nova Lite 1.0, DISTILLATION 유형, maxResponseLengthForInference 등 설정
- 실행 및 모니터링: Bedrock의 create_model_customization_job 호출로 증류 실행, Bedrock 콘솔 및 AWS CLI로 진행 상황 확인
- 배포 및 운영: 증류 모델을 Bedrock 콘솔 또는 boto3로 배포하고 상태를 모니터링
- 평가: LLM as a Judge 방식으로 5개 영역 평가를 수행하고, 20개 프롬프트의 평가를 2차 수행
주요 결과
- 데이터 및 시간: 합성 데이터 100샘플로 약 3시간 소요
- 비용/속도: 증류 Nova Lite는 Nova Pro 대비 약 13.3배 저렴, 입력 토큰 비용 0.06$ vs 0.80$, 출력 토큰 비용 0.24$ vs 3.20$, 응답 속도 146토큰/s vs 90토큰/s
- 성능: 증류 Nova 모델은 Nova Pro와 비슷한 성능을 보였고, Nova Lite 대비 성능은 낮은 편
- 배포/운영: Bedrock의 완전 관리형 환경에서 손쉽게 배포 및 운영 가능
