핵심 요약
구글의 Cloud API Gateway가 Public Preview에서 모델 라우팅 기능을 제공해, 개발자가 엔드포인트를 하드코딩하지 않고 Gemini, Claude, OpenAI OSS-GPT 등으로 트래픽을 동적으로 라우팅합니다. OpenAPI 3.x 스펙의 가상 모델 이름을 백엔드 타깃에 매핑하고, 서버리스 인그레스 계층으로 OpenAI 호환 요청을 수신해 대상 모델의 네이티브 스키마로 자동 트랜스코딩합니다.
구현 방법
- OpenAPI 3.x 명세에서 가상 모델 이름을 백엔드 타깃에 매핑하는 라우팅 규칙 구성
- 서버리스 인그레스 계층으로 OpenAI 호환 요청 수신 및 트래픽을 실시간으로 라우팅
- 요청 페이로드를 대상 모델의 네이티브 스키마로 자동 트랜스코딩
주요 결과
- 하드코딩 제거로 엔드포인트 관리 부담이 감소
- 다양한 모델에 대한 동적 라우팅 가능성과 확장성 향상
- OpenAI 호환 요청의 원활한 처리 및 운영 단순화
