핵심 요약
SK플래닛은 Oozie/Sqoop 기반 파이프라인을 Airflow+D Spark로 전환하고 base.yaml과 dag.yaml로 메타데이터를 이원화한 뒤 Dag Factory로 자동 DAG를 배포해 1,200여 개 파이프라인의 운영 효율과 입수 속도를 크게 개선했습니다.
구현 방법
- Dag Factory로 DAG를 동적 배포: base.yaml + dag.yaml 결합
- Phase1 JDBC 추출(fetchsize 20000) + Phase2 정렬/Parquet 저장, 날짜 파티션은 Predicates API로 안전 처리
주요 결과
- 표본 입수 속도: table_a 5h7m→1h31m, table_b 1h17m→35m, table_c 5h01m→3h44m
- 1,200여 개 파이프라인의 운영 효율 및 저장/메모리 최적화로 안정성 강화
