핵심 요약
잡코리아가 Batch Runner를 Event-Driven(Kafka) + Scheduled Batch 하이브리드 아키텍처로 전환하여 주문 데이터를 실시간 처리하고, 테마관/슈퍼기업관은 주기적 배치로 갱신하는 구조를 도입했습니다.
구현 방법
- 주문 상품은 Kafka 이벤트로 즉시 처리하여 Data Express에 저장하고 메인 노출을 결제 직후 반영합니다.
- 테마관/슈퍼기업관은 Spring Batch 기반의 Full/Incremental 배치로 5분 주기로 갱신합니다.
- Batch Runner는 Batch Server, Data Express, Display API로 역할을 분리하고, Jenkins Cron과 Consul로 운영을 중앙화/동적 제어합니다.
- Reader-Processor-Writer 패턴과 중복 실행 방지, 배치 모니터링/알림 체계를 구현했습니다.
주요 결과
- 서비스 안정성 향상 및 독립적 스케일링 가능
- DB 부하 감소와 처리 효율성 증가
- 운영 편의성 증가(중앙 관리 및 이력 추적)
