핵심 요약
AWS의 SageMaker HyperPod에서 Karpenter 기반의 관리형 오토스케일링이 도입되어 수요에 따라 노드를 탄력적으로 확장하고 제로 스케일링까지 지원합니다.
구현 방법
- 완전 관리형 수명 주기: SageMaker HyperPod가 Karpenter 설치, 업데이트 및 유지 관리를 처리합니다.
- Just-in-time 프로비저닝: 파드 요구사항 및 토폴로지 제약에 맞춰 온디맨드로 리소스를 프로비저닝합니다.
- 제로 스케일링: 전용 컨트롤러 인프라 없이도 노드 개수를 0개까지 축소할 수 있습니다.
- 지능형 노드 선택: 파드 요구사항, 가용 영역 및 가격을 기반으로 최적의 인스턴스 유형을 선택합니다.
- 자동 노드 통합(Consolidation): 워크로드를 재배치해 비효율적인 노드를 사용하지 않도록 클러스터를 최적화합니다.
- 통합 복원력: SageMaker HyperPod의 내장 내결함성과 노드 복원 메커니즘을 Karpenter와 연계합니다.
- 연속 프로비저닝(Continuous provisioning) 기반 운영: 워크로드가 즉시 시작되고 남은 용량은 백그라운드에서 자동으로 프로비저닝됩니다.
- 사전 요구사항: SageMaker HyperPod 클러스터에 충분한 인스턴스 할당량 확보 및 Karpenter를 위한 IAM 권한 설정이 필요합니다.
주요 결과
- 수요 변화에 따른 탄력적 확장과 비용 관리가 가능해집니다.
- 노드 운영의 복원력과 관리 부담이 향상됩니다.
- KEDA와의 연계 가능성으로 엔드투엔드 오토스케일링의 확장성도 제고됩니다.
