핵심 요약
삼성전자에서 Codex와 Claude의 CLI를 서버로 래핑해 하나의 OpenAI 호환 API로 다중 LLM을 제어하는 중계기 'LLM Gateway'를 구현했습니다. base URL 한 줄 변경만으로 여러 도구를 선택하거나 병렬로 사용할 수 있는 확장성을 제공합니다.
구현 방법
- Codex/Claude CLI를 래핑하는 중개 서버를 구성
- LLM Gateway 아키텍처를 설계하고 OpenAI API 규격에 맞춘 인터페이스를 제공합니다
- 내부 LLM Gauss와의 연동 및 다중 LLM 선택/병렬 실행을 가능하게 하는 URL 정책을 구현
주요 결과
- 도구 간 호환성 및 운용 편의성 대폭 향상
- 내부 Gauss 등 LLM과의 연동 형식을 확보
- base URL 한 줄 수정으로 신속한 도구 전환 및 확장성 확보
