핵심 요약
토스가 GPU-aware 쿠버네티스를 넘어 GPU-native 멀티테넌트 클러스터를 구축하고 MIG 기반 자원 단위 제공을 도입해 운영 부담을 줄이고 업스트림에 기여했습니다.
구현 방법
- GPU 스택의 4단계(드라이버, NVIDIA Container Toolkit, Device Plugin, CUDA) 정상 작동을 검증하는 nvidia-validator와 GPU Ready 판단 체계 구축
- DCGM Exporter로 GPU 상태를 상시 관측하고 Xid 알럿과 readiness를 연결하는 운영 흐름 확립
- MIG Manager와 Device Plugin으로 자동 구성 및 Packed Allocation 도입
- 신규 노드 투입 시 preflight 검증으로 스케줄링 게이트를 설정
주요 결과
- GPU Ready와 Node Ready 구분으로 안정적 투입 관리
- 시범운행 및 검증 통과 노드만 스케줄 대상에 반영
- 업스트림에 기여해 MIG 배치 정책 및 확장성 개선
