핵심 요약
올리브영이 ODI 배치를 대체하기 위해 OGG/Kafka CDC 아키텍처를 도입하고, 1:1 매핑은 OGG 커넥터로, 복합 로직은 Campaign-Worker로 처리해 실시간 반응성과 데이터 정합성을 크게 강화했습니다.
구현 방법
- OGG 커넥터로 1:1 매핑 데이터를 ADW에 실시간 싱크
- Campaign-Worker가 다중 소스 조인/변환 로직 처리
- Retry(최대 3회)→DLT 분리→5분/1시간 복구 배치
- Datadog 대시보드와 Slack 경보로 운영 모니터링
주요 결과
- 실시간 반응에 근접, 배치 주기 20분~1시간에서 개선
- 소스 DB 부하 분산 및 최소화
- 데이터 정합성 강화: 순서 이슈 누락 감소
- 운영 가시성 향상: Datadog/Slack으로 빠른 대응
