핵심 요약
넷플릭스가 GPU 기반 대규모 학습·추론 작업의 안정성을 확보하기 위해 Kubernetes 기반 Compute 플랫폼에서 계층적 건강 점검과 자동 복구를 도입했습니다.
구현 방법
- GPU 단위 검증(DCGM 기반)과 노드단의 피드백을 결합한 이중 건강 체크
- 30초 간격의 노드 문제 탐지기(node-problem-detector)로 상태를 수집하고 taint/drain으로 작업 안전성 확보
- Karpenter의 자동 수리 정책과 startup 체크를 거친 뒤에야 용량 할당을 허용
- MIG를 통한 다 tenant 간 자원 분리 및 비정지 재구성
주요 결과
- 다수 머신 손실에도 작업이 중단 없이 진행되도록 체크포인트와 탄력적 워커를 도입
- 문제 식별과 재시도를 구분하는 자동화로 운영 복잡도 감소 및 자원 활용성 향상
