핵심 요약
매드업은 Redshift 기반 데이터 웨어하우스 구축과 8개 섹션의 데이터마트 도입, DBLink 및 자동 프로시저 제너레이터를 통해 광고 데이터의 수집·조회 파이프라인을 대폭 개선했습니다.
주요 경험
- Athena의 비용·속도 문제를 해결하기 위해 Redshift 도입과 직접 질의 구조를 설계했습니다.
- 월별 파티션 아이디어를 적용한 데이터마트로 쿼리 범위와 확장성을 확보했습니다.
- 8개 섹션으로 매체 데이터를 분리하고 DBLink와 제너레이터로 자동화를 구현했습니다.
얻은 인사이트
- 프로시저를 작게 분할 실행하면 락 문제와 실행 시간이 줄었습니다.
- ETL 규칙 및 컬럼 매핑의 일관성이 운영 안정성에 기여했습니다.
