핵심 요약
넷플릭스는 대규모 실시간 서비스 의존성 맵을 Streaming-First 아키텍처와 3단계 파이프라인으로 구현해 초당 수백만 건의 흐름 로그를 처리하고, 쿼리는 서브-초 지연으로 응답하며 수십 분 이내의 신선도를 유지합니다.
구현 방법
- 네트워크(eBPF)·IPC·트레이스(Parquet)로 물리적으로 분리된 3레이어 아키텍처
- 멀티 리전 카프카(4 region)와 SSE로 Stage 1/2/3 파이프라인 구성
- Stage 2가 중간 매개체를 해석해 직접 엣지로 연결하고 Stage 3에서 최종 집계·외부 데이터 보강
- 백프레셔 기반의 흐름 제어와 Consistent Hashing으로 자동 재분배
주요 결과
- 초당 수백만 건의 로그 처리, 쿼리는 서브-초 응답, 수십 분 이내 갱신
- 레이어별 독립 최적화로 확장성과 안정성 확보
