Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그
같은 GPU로 더 많은 AI 요청을 처리할 수 있을까? ― KV 캐시 오프로딩 × EPP 라우팅: 계산 결과를 오래 남기고, 다음 요청이 그 결과를 찾아가게 하기 섬네일

같은 GPU로 더 많은 AI 요청을 처리할 수 있을까? ― KV 캐시 오프로딩 × EPP 라우팅: 계산 결과를 오래 남기고, 다음 요청이 그 결과를 찾아가게 하기

카카오 favicon카카오·Architecture·
REST APIGPULLMCaching
2026년 11월 15일0

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

카카오가 같은 GPU 32장 환경에서 같은 모델과 GPU를 유지한 채 KV 캐시 오프로딩과 EPP 라우팅을 도입해 계산 결과를 GPU 밖에 저장하고, 다음 요청이 그 결과를 가진 서버로 가도록 하여 추론 처리량을 높였습니다.

구현 방법

  • KV 캐시 오프로딩으로 계산 결과를 GPU 밖에 보관
  • EPP 라우팅으로 같은 문서를 묻는 다음 요청이 해당 결과를 가진 서버로 전달되도록 구현
  • 사내 LLM 추론 플랫폼의 게이트웨이 및 GPU 경로를 재설계

주요 결과

  • 처리 시간 121.7분에서 47.2분으로 단축
  • GPU 32장 및 모델은 변경 없이 유지
  • 두 가지 변화로 결과 재사용 및 응답 흐름이 최적화

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
ML gpu model server 성능을 유지하며 cpu server로 전환한 경험 공유 섬네일
67%

ML gpu model server 성능을 유지하며 cpu server로 전환한 경험 공유

Naver Place faviconNaver Place·2023년 07월 13일
Amazon EKS에서 vLLM으로 Gemma 4 서빙 최적화하기 [2부: GPU 한 장의 처리량과 지연 SLO] 섬네일
66%

Amazon EKS에서 vLLM으로 Gemma 4 서빙 최적화하기 [2부: GPU 한 장의 처리량과 지연 SLO]

AWS faviconAWS·2026년 09월 10일
No Image
65%

AI 시대의 데이터센터: GPU의 뜨거운 열을 어떻게 식힐 것인가?

카카오뱅크 favicon카카오뱅크·2026년 02월 12일