핵심 요약
NAVER D2가 SNOW Image AI 서비스의 LitServe 전환으로 CPU·GPU 대기 시간을 줄이고 H100 환산 약 67.37장의 GPU 자원을 절감하는 성과를 달성했습니다.
구현 방법
- LitServe 도입으로 불필요한 연산과 CPU 대기 시간 최소화
- 다수 서비스가 하나의 GPU를 공유하도록 리소스 재배치
- 트래픽에 맞춘 파라미터 조정(워커 수, 스레드 수, CPU 한도, 코어 고정) 및 오토스케일링 개선
주요 결과
- H100 환산 67.37장 절감
- 응답 속도, 처리량, 오류율 등 핵심 지표 개선