핵심 요약
넷플릭스가 대규모 데이터 자산 관리 및 지속 실행 문제를 해결하기 위해 Data Projects를 도입했다. 자산을 프로젝트 단위로 묶고, 프로젝트 아이덴티티로 워크플로우를 실행하여 관리와 감사의 안정성을 높인다.
구현 방법
- 데이터 프로젝트 컨테이너와 gravity 원칙으로 자산을 논리적으로 그룹화
- 사용자/그룹/애플리케이션/CI 등 다양한 identity 타입과 Contributor/Viewer 같은 롤 구성
- Netflix 애플리케이션 아이덴티티와 선택적 AWS IAM 역할로 실행 주체를 관리하고 필요 시 교체 가능
주요 결과
- 대규모 자산(수백만 개의 테이블, 수만 개의 스케줄 워크로드)을 프로젝트 단위로 관리하며 접근 제어를 간소화하고 보안을 강화
- 자산 생성 시 프로젝트 아이덴티티로 자동 연결되어 조직 구성이 자연스러워짐
- 워크플로우 실행이 프로젝트의 아이덴티티로 안정적으로 이루어져 감사 가능성 및 운영 신뢰성 향상
