핵심 요약
뱅크샐러드가 증가하는 이력 데이터를 MySQL에서 S3로 이관하고 Spark Bucketing으로 버킷화된 데이터만 Athena로 불러오도록 아키텍처를 최적화했습니다.
구현 방법
- MySQL에서 S3로 데이터 이관 및 비용 효율화된 저장소 아키텍처 구성
- Spark Bucketing으로 데이터 파티셔닝 설계
- Athena로 버킷화된 데이터 조회를 위한 쿼리 설계
주요 결과
- 저렴한 저장소로 이관해 비용 구조를 단순화
- 필요한 데이터만 읽도록 설계해 조회 효율성 향상 가능성
