Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그

컨테이너처럼 쓰고, VM처럼 격리하기 4편 - IB 네트워크와 로컬 NVMe, vCPU 배치, 베어메탈 대비 성능

NAVER D2 faviconNAVER D2·Architecture·
NCCLInfiniBandGPUDirect RDMASPDKNVMe
2026년 11월 18일0

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

NAVER D2가 컨테이너-VM 격리 환경에서 IB NIC, 로컬 NVMe, vCPU 배치를 최적화하고 DRA·SR-IOV·GDR/ATS를 도입해 NCCL All-Reduce 대역폭을 약 700GB/s 수준으로 끌어올린 사례를 공유합니다.

구현 방법

  • DRA 파티션과 레일셋 발행, NCCL 토폴로지 파일 전달로 GPU-NIC 매칭 최적화
  • 컴퓨트 NIC은 PF, 스토리지 NIC은 VF로 SR-IOV 적용 및 VF별 IOMMU 바인딩
  • GDR/ATS 도입으로 RDMA 경로 및 IOMMU 처리 간소화
  • SPDK 기반 NVMe 경로: lvstore 사용, vhost-user-blk로 게스트에 분할 공유
  • kata 수정으로 vCPU 1:1 고정 및 kubelet 예약 제외로 NUMA/리액터 충돌 방지
  • 토폴로지 반영: 게스트에 가까운 토폴로지를 NCCL에 전달하는 파일 포맷 적용

주요 결과

  • 네트워크 대역폭: 158GB/s → 약 620GB/s, GDR 활성 시 697.6–712.4GB/s
  • SPDK 경로의 NVMe 성능: 순차 읽기 19.8GB/s, 순차 쓰기 14.1GB/s, 랜덤 4KiB 읽기 1,154k IOPS
  • vCPU 고정으로 호스트 코어 1:1 점유 및 CPU steal 제거

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
No Image
88%

컨테이너처럼 쓰고, VM처럼 격리하기 2편 - GPU 패스스루 계층과 GPU 8장 VM의 부팅·메모리 구성

NAVER D2 faviconNAVER D2·2026년 11월 18일
No Image
83%

컨테이너처럼 쓰고, VM처럼 격리하기 1편 - 컨테이너와 VM의 차이, Kata Containers의 Pod 실행 구조

NAVER D2 faviconNAVER D2·2026년 11월 18일
No Image
81%

컨테이너처럼 쓰고, VM처럼 격리하기 3편 - Fabric Manager 파티션과 DRA를 이용한 GPU 할당

NAVER D2 faviconNAVER D2·2026년 11월 18일