핵심 요약
넷플릭스가 내부 LLM 서빙 플랫폼을 구축해 배포부터 추론까지 전체 스택을 자사 생산 환경에서 운용하고, 엔진 선택, 모델 패키징, API 표면, 배포 전략의 trade-off를 공유했습니다.
구현 방법
- vLLM을 paved-path 엔진으로 채택하고 Triton MSS로 다종 모델을 통합
- 모델 포장: Python 백엔드 vs vLLM 백엔드의 IO 스펙 고정 여부 비교
- OpenAI 호환 API를 gRPC/HTTP로 동일하게 노출
- 배포: Red-Black과 Versioned를 조합해 인터페이스 변화 시 안정적 롤링
- 운영: 부트 시퀀스, FSx 모델 캐싱, 단일 메트릭 엔드포인트 구축
주요 결과
- 동일 API로 다양한 모델을 공통 경로에서 운용해 도입과 운영의 일관성을 확보
- Versioned를 통한 안정적 롤링으로 인터페이스 변화 시 다운타임 감소
- 통합 메트릭 엔드포인트 도입으로 가시성과 운영 효율 향상
