핵심 요약
토스가 수천 개의 실시간 데이터 파이프라인 운영에서 데이터 리니지 시각화 서비스를 도입해 운영 효율성과 팀 간 협업 비용을 크게 개선했다.
주요 경험
- 수천 개 파이프라인의 DAG 메타데이터를 MongoDB에 저장하고 Graph Search로 리니지 시각화를 구현했다.
- 운영 편의성과 커뮤니케이션 비용 절감을 위해 파이프라인 시각화를 사내 서비스로 오픈했다.
- SLA 준수와 확장성 있는 클러스터 설계로 파이프라인 독립성을 확보했다.
얻은 인사이트
- 시각화 도입으로 파이프라인 검색과 이슈 추적이 신속해졌다.
- 메타데이터 중심 관리가 팀 간 협업 효율과 정보 전달을 개선했다.
- DBT 연동 및 메타데이터 관리 서비스 도입 같은 End-to-End 리니지 확장 로드맵의 필요성을 확인했다.
