핵심 요약
올리브영의 데이터 엔지니어링은 IDC 기반에서 클라우드(GCP) 중심의 데이터 플랫폼으로 전환하고 Airflow, Spark, BigQuery를 도입해 데이터 수집·분석 환경을 대폭 확대했습니다.
구현 방법
- Legacy ETL 중심 파이프라인을 GCP 기반 아키텍처로 전환하고 데이터 파이프라인 재설계
- Airflow, Spark로 다원 원천 수집/처리, BigQuery로 분석 환경 구축
- 로그 수집 기능 강화 및 MSA 기반 데이터 서비스 플랫폼 확장 추진
주요 결과
- 데이터 원천 다양화와 확장성 증가
- 분석 환경의 속도와 규모 향상
- 향후 데이터 서비스로의 확장 가능성 확보
