핵심 요약
넷플릭스가 라이브 광고 이벤트 파이프라인을 Flink 기반으로 재구축해 실시간 엔리치먼트를 가능하게 하고 레지스트리 의존을 제거했습니다.
구현 방법
- Apache Flink 스트리밍 조인으로 클라이언트 이벤트와 광고 응답 매칭
- Normalize, Re-route, Join, Deduplicate, Publish의 파이프라인
- 토큰에 서빙 지역 인코딩으로 지역 간 라우팅 구현
- 60분 윈도우 기반 매칭 및 누락 시 Spark 배치(Maestro)로 보정
주요 결과
- 라이브 트래픽에서 의존성 축소와 안정성 향상
- 60분 윈도우 기반 매칭으로 SLA 유지
- 롱테일 이벤트는 매시간 Spark 배치에서 재매칭 보정
- 향후 추가 이벤트 유형 확장 가능