핵심 요약
넷플릭스가 두 Flink autoscaler를 비교하고 OSS 기반으로 전환해 대규모 워크플로의 안정성과 비용 효율을 개선한 사례를 공유합니다.
주요 경험
- 외부 관찰에서 내부 OSS autoscaler로 전환해 다중 DAG를 정교하게 스케일링
- Temporal 워크플로우로 per-job 독립성과 실패 격리 확보
- 메트릭 병목 해결 및 서브그래프/싱크 제약 대응으로 대규모 워크로드 지원
얻은 인사이트
- 메트릭 선택이 성능의 핵심
- 기본값은 합리적이되 워크로드별 오버라이드 허용
- OSS 도입 후 커뮤니티에 기여하며 점진적 마이그레이션이 효과적
