핵심 요약
넷플릭스의 Conductor 4.0 도입으로 워크플로우 실행의 확장성과 신뢰성을 대폭 향상시켰으며, 데이터 플레인 재구성과 비동기 평가를 통해 대규모 워크플로우를 안정적으로 운영하는 방법을 제시했습니다.
구현 방법
- Cassandra를 메인 데이터스토어로 도입해 수평 확장성과 안정성 확보
- Timestone 큐를 도입하고 비동기 평가로 tail latency 제거 및 처리량 증가
- Run Strategies로 실행 동시성 제어 및 Titus/Stratum 기반 매니지드 태스크 도입으로 외부 compute 통제
주요 결과
- 워크플로우당 최대 30,000 태스크까지 확장 가능(기존 2,500 대비 10배 이상)
- p99 워크플로우 평가 지연 약 40% 감소
- 다중 클러스터 격리 배포로 안정성과 운영 유연성 강화