핵심 요약
당근 데이터가치화팀이 DT Platform 도입으로 200+개 DB를 BigQuery로 ELT 전송하는 노코드 파이프라인 플랫폼을 구축했고, 2주 만에 203개 파이프라인을 프로덕션으로 마이그레이션했습니다.
구현 방법
- UI에서 소스(MySQL, PostgreSQL) → BigQuery로 파이프라인 선언, Slack 리뷰 알림, Airflow Synchronizer가 DSL(JSON)을 S3에서 읽고 Dynamic DAG를 생성
- Spark(E MR on EKS)로 데이터 처리, transform/dropColumn/partition 등 DSL로 제어 가능
- 보안 가드레일과 중앙 관리로 안전한 운영
주요 결과
- 2주 내 203개 파이프라인 마이그레이션 완료
- 파이프라인 상태/비용 가시화와 리뷰 자동화로 운영 효율성 향상
- 엔진 분리 기반의 확장성 및 중앙 관리 체계 확보
