핵심 요약
AWS가 리멤버앤컴퍼니의 Iceberg 기반 S3 Tables를 활용한 실시간 분석 워크로드 구축 사례를 다룹니다.
구현 방법
- Aurora MySQL 운영 데이터를 Debezium CDC로 실시간 캡처, MSK로 전달
- 변경 데이터만 Iceberg S3 Tables에 반영해 OLTP/OLAP 분리
- DebeziumTransform + Iceberg Kafka Connector로 CDC를 Iceberg에 적재
- StarRocks Incremental Sync으로 ms 단위 대시보드 가능
- Glue PySpark로 Aurora → S3 Tables 이관, PyIceberg로 분석
- Grafana로 시각화, Lake Formation으로 권한 관리
- ECS에서 Kafka Connect 운영 및 롤링 업데이트
주요 결과
- 수십억 건 규모 이관도 20–30분, 37.5 DPU Hours, 약 16.5 USD
- 실시간 대시보드(ms 수준) 제공으로 운영 부하 분산 및 안정성 향상
