핵심 요약
NAVER D2가 컨테이너-VM 격리 환경에서 IB NIC, 로컬 NVMe, vCPU 배치를 최적화하고 DRA·SR-IOV·GDR/ATS를 도입해 NCCL All-Reduce 대역폭을 약 700GB/s 수준으로 끌어올린 사례를 공유합니다.
구현 방법
- DRA 파티션과 레일셋 발행, NCCL 토폴로지 파일 전달로 GPU-NIC 매칭 최적화
- 컴퓨트 NIC은 PF, 스토리지 NIC은 VF로 SR-IOV 적용 및 VF별 IOMMU 바인딩
- GDR/ATS 도입으로 RDMA 경로 및 IOMMU 처리 간소화
- SPDK 기반 NVMe 경로: lvstore 사용, vhost-user-blk로 게스트에 분할 공유
- kata 수정으로 vCPU 1:1 고정 및 kubelet 예약 제외로 NUMA/리액터 충돌 방지
- 토폴로지 반영: 게스트에 가까운 토폴로지를 NCCL에 전달하는 파일 포맷 적용
주요 결과
- 네트워크 대역폭: 158GB/s → 약 620GB/s, GDR 활성 시 697.6–712.4GB/s
- SPDK 경로의 NVMe 성능: 순차 읽기 19.8GB/s, 순차 쓰기 14.1GB/s, 랜덤 4KiB 읽기 1,154k IOPS
- vCPU 고정으로 호스트 코어 1:1 점유 및 CPU steal 제거