핵심 요약
당근의 GenAI Platform은 LLM Router, Prompt Studio, KarrotChat으로 엔드투엔드 AI 기능을 제공하되, 수백 건의 GenAI 활용 사례와 수억 건의 요청을 처리합니다.
구현 방법
- LLM Router: 모든 AI API 호출을 단일 게이트웨이로 라우팅, API 키/계정 중앙 관리, 서비스 ID 인증으로 간소화
- Prompt Studio: 노코드 AI 기능 개발과 다모델 비교·평가·버전 관리 및 UI 배포
- KarrotChat: Prompt Studio에서 생성된 에이전트를 내부 채팅에 연결하고 MCP Hub/Agent Builder로 무코드 에이전트 구성
- 안정성: 재시도, 지역 간 대체, 모델 대체, 서킷 브레이커로 외부 서비스 장애 영향 최소화
주요 결과
- 프로비저닝 오버헤드 제거 및 즉시 사용 가능성 향상
- 중앙 운영으로 속도·가용성 향상, 비용 가시성 강화
- 에이전트 재사용으로 팀 생산성 및 엔드투엔드 AI 도입 가속
