핵심 요약
NAVER D2가 DBT와 Airflow를 활용해 데이터 계보 중심 파이프라인을 구축하고 Flow.er를 통해 온디맨드 데이터 계보 파이프라인 서비스를 소개합니다.
구현 방법
- DBT와 Airflow를 활용한 데이터 계보 파이프라인 아키텍처 구성
- Flow.er의 구성 요소 및 DBT/Airflow의 역할 정리
- 개인 인스턴스, 모델 관리 페이지, CI/CD 파이프라인 구성으로 확장성 확보
주요 결과
- 데이터 계보 관리의 자동화와 운영 효율성 제고 방향 제시
- 다수 데이터 조직으로의 확장 포인트와 운영 비용 관리 아이디어 제공
- 데이터 품질 관리 체계화 및 데이터 제품 운영에 대한 실용적 인사이트 공유
