핵심 요약
올리브영은 멤버십 승급 프로세스를 AWS Batch로 자동화하고 Apache Kafka로 데이터 동기화를 전환해 대용량 데이터 처리와 연동 속도를 크게 개선했습니다.
구현 방법
- 온라인/오프라인 DB의 DML을 한 번에 처리하고 사전 데이터 검증 및 승급 결과 검증을 자동화
- Slack 웹훅으로 배치 실행 모니터링 및 알림 관리
- Kafka 도입으로 데이터 연동 속도와 시스템 확장성 강화
주요 결과
- 데이터 연동 시간: 9시간41분에서 58분으로 약 90% 감소
- 인력 의존도 감소 및 휴먼 에러 감소
- 수평 확장 가능한 Kafka 구조로 향후 서비스 확장 대비
