핵심 요약
뱅크샐러드의 Core Infra 엔지니어가 상시로 증가하는 이력성 데이터를 MySQL에서 S3로 이관하고, Spark Bucketing으로 필요한 데이터만 읽도록 최적화한 사례를 공유합니다. Athena로의 조회도 함께 구성했습니다.
구현 방법
- MySQL에서 S3로 데이터 이관 및 저장 구조 재설계
- Spark Bucketing으로 파티션 설계 및 필요한 데이터만 읽는 쿼리 경로 구축
- Athena를 통한 S3 데이터 조회 파이프라인 구성
주요 결과
- Bucketing으로 필요한 데이터만 읽도록 구성
- Athena 기반의 S3 조회 흐름 확립
