핵심 요약
AWS가 Friendli Container를 Amazon EKS Add-on으로 도입하여 LLM 추론 워크플로우를 확장하고 비용 절감과 성능 향상을 달성하는 방법을 소개합니다.
구현 방법
- GPU Node Group 구성 및 EKS 1.28 이상 요건 충족, NVIDIA GPU Operator 설치 권장
- Friendli Container EKS Add-on을 AWS Marketplace에서 구독·설치하고, Pod Identity Agent 연결 및 Deployment 배포
주요 결과
- Inference 비용 50% 이상 절감, Latency 2배 개선, Throughput 2배 향상
- AWS 통합 빌링으로 비용 관리 간소화
- 자동 업데이트로 보안/운영 최신 상태 유지
