핵심 요약
미리디는 데이터브릭스를 핵심 허브로 삼아 에어플로, 쿠버네티스, 카프카, 데이터 허브, 테블로를 연결한 데이터 아키텍처 대전환으로 데이터 활용성과 거버넌스, 운영 효율성을 크게 개선했습니다.
구현 방법
- 데이터브릭스 중심의 허브형 아키텍처 도입 및 유니티 카탈로그 기반의 메달리온 계층화(bronze/실버/골드)
- 에어플로로 데이터 적재/스케줄링, 쿠버네티스 리소스 스케일링, 카프카 실시간 메시지 큐
- 데이터 허브로 메타데이터 통합 관리, 테블로로 BI 대시보드 제공, 지니로 비개발자 데이터 조회 가능
주요 결과
- 데이터 신뢰성과 거버넌스 강화: 증분 반영 속도 개선, 감사 로그·테이블 히스토리 확보
- 운영 효율성: 대용량 ETL은 고성능 클러스터, 간단 쿼리는 경량 실행으로 비용 감소
- 업무 속도 향상: 대시보드 자동 공유 및 폭넓은 접근성으로 의사결정 신속
- 확산 및 교육: 내부 교육으로 도구 확산