핵심 요약
토스증권이 MIG 도입으로 GPU 자원 낭비를 줄이고 단일 아키텍처 운영과 추론 속도 일관성을 확보했습니다.
구현 방법
- MIG 활성화 및 GI/CI 생성으로 GPU를 논리적으로 분할
- Kubernetes에서 nvidia-device-plugin을 MIG_STRATEGY 혼합으로 재배포
- dcgm-exporter를 MIG 인스턴스 단위 지표 수집에 맞춰 구성하고 Prometheus/Grafana 대시보드 연계
주요 결과
- 단일 아키텍처 운영으로 프레임워크/라이브러리 호환성 이슈 감소
- MIG 인스턴스 단위 자원 관리로 운영 유연성 향상 및 자원 낭비 감소
- 일관된 추론 속도와 운영 안정성 확보
