핵심 요약
NAVER D2의 GPU 8장 VM 구성을 통해 IOMMU/VFIO/CDI 기반의 PCIe 패스스루를 구현하고 BAR 매핑, 대용량 페이지, NUMA 구성을 최적화해 부팅 시간과 대역폭 문제를 해결했습니다.
구현 방법
- IOMMU(VT-d) 활성화 및 intel_iommu=on iommu=pt 등 커널 부트 옵션과 1G 대용량 페이지 설정 적용
- VFIO-pci 바인딩 및 QEMU의 -device vfio-pci로 GPU/NVMe 연결, 콜드 플러그로 부팅 전 연결
- CDI를 통한 컨테이너에 필요한 VFIO 디바이스 파일 노출 및 VM 내 GPU 제어 구성
- BAR 매핑 최적화: BAR0(제어)와 BAR2(GPU 메모리) 크기 기반 매핑, THP=always로 페이지 폴트 감소
- 게스트 NUMA(enable_numa, numa_mapping) 적용으로 2개 NUMA 노드에 GPU/NIC 매핑 및 호스트 소켓 간 거리 정보 반영
주요 결과
- 부팅 시간: GPU 8장 VM이 4분에서 141~151초 Ready로 단축
- 대역폭: GPU→호스트 459 GB/s로 증가, 호스트→GPU 대역은 기존과 유사
- BAR 매핑/메모리 할당: 1GiB 대용량 페이지로 BAR 매핑 페이지 수 대폭 감소, 게스트 메모리 분리로 NUMA 간 복사 거리 단축