핵심 요약
토스가 중앙 DW Airflow를 도메인별로 분리하는 스트랭링 패턴을 적용해 기존 파이프라인은 유지하면서 점진 이관하고, dbt+Cosmos 래퍼로 의존성 자동화와 YAML 기반 메타 관리를 구현했습니다.
주요 경험
- 도메인별 분리와 3주간의 데이터 이관 비교로 안전성 확보; 광고 도메인 DAG는 2,794줄에서 100줄로 대폭 축소
- dbt 변환, Spark/Jenkins 포크, wrapper로 태스크 의존성 자동화 및 source.yml 자동 업데이트로 운영 편의성 향상
- 공통 모듈+도메인 디렉토리 구조 도입 및 레포 문서화로 에이전트가 문맥을 읽고 자료를 즉시 찾도록 구성
얻은 인사이트
- 에이전트 기반 문맥 관리가 개발 생산성과 문제 파악 속도를 크게 높임
- 두 플랫폼 동시 운영으로 롤백 없이 점진 마이그레이션 가능성을 확인
