핵심 요약
AWS의 Bedrock 기반 AI 팟캐스트 시스템 구축 사례로, 자동화된 파이프라인과 환각 방지/품질 관리 체계를 확립했다는 경험을 공유합니다.
주요 경험
- 4주 PoC를 통해 아이디어에서 프로덕션까지 구현했으며, 기사 선정 → 대본 작성 → 환각 검증/재생성 → TTS로 구성된 파이프라인을 AWS Serverless 아키텍처로 운영하고, 스마일샤크와 협업해 설계 및 자동화를 구축했습니다.
- 환각 방지 및 구어체 변환 규칙을 적용했습니다. 생성 모델과 평가 모델의 이중 검증, 최대 2회 재생성, 고유어/한자어 수사 규칙 및 수치 표기 규칙을 엄격히 적용했습니다.
- 프롬프트 엔지니어링과 데이터 품질 관리의 중요성을 확인했습니다. 역할 정의, 평가 원칙, 예외 케이스, 출력 형식 등을 상세 프롬프트로 명시하고, Human-in-the-Loop를 통해 품질 보장을 강화했습니다.
얻은 인사이트
- 완전 자동화보다 인간 개입이 필요한 하이브리드 방식이 신뢰성과 효율성 모두를 높이는 것으로 확인했습니다.
- 프롬프트 엔지니어링의 중요성과 구체적 규칙 설정이 팟캐스트 대본의 품질에 결정적 영향을 미쳤습니다.
- 평가 지표를 구체화하는 것이 환각을 낮추고 일관된 콘텐츠 품질을 확보하는 핵심이라는 것을 확인했습니다.
