수억 건의 데이터, 맛있게 쪼개 먹는 방법 (with. Partitioning)

핵심 요약

카카오페이가 수억 건의 데이터를 대상으로 Spring Batch Partitioning과 Cursor 기반 ItemReader, Bulk Operations를 활용해 처리 성능을 향상시킨 실전 경험을 공유합니다.

구현 방법

• Spring Batch Partitioning을 활용한 대용량 데이터 분할 처리 아키텍처
• Cursor 기반 ItemReader를 활용한 효율적 데이터 로딩
• Bulk Operations를 통한 일괄 처리로 처리량 및 효율성 증대

주요 결과

• 수억 건 데이터 처리 성능을 향상시켰다
• 대용량 배치 작업의 안정성과 효율성이 개선되었다