핵심 요약
넷플릭스가 메타데이터 서비스(MDS)와 모델 생애주기 그래프를 도입해 ML 자산의 발견, 연결, 재사용을 가능하게 했습니다.
구현 방법
- Kafka/SNS-SQS로 실시간 이벤트를 수집하고 Hydration으로 최신 상태를 정규화
- aip URI 체계로 자산을 글로벌하게 식별하고 도메인 간 표준화
- Datomic을 시스템 기록/그래프 DB로, Elasticsearch로 빠른 검색 제공
- 파이프라인, 모델 레지스트리, 피처 스토어, 실험 플랫폼, 데이터셋, 아이덴티티 등 소스에서 메타데이터를 수집하고 연결
주요 결과
- 도메인 간 상호 연결성과 발견 가능성 향상
- 자산 소유자/연계 관계 추적 및 파이프라인-실험 간 연결 강화
- 실시간 탐색으로 협업과 재사용 촉진
