핵심 요약
현대자동차가 Apache Airflow를 도입해 파이썬 기반 워크플로우로 데이터 수집-처리-저장을 자동화하고, Kubernetes 및 Helm 기반 배포를 통해 운영 편의성과 확장성을 높이는 방법을 소개합니다.
주요 특징
- DAG 기반으로 파이썬 코드로 워크플로우를 정의
- Local/Celery/Kubernetes Executors 및 Helm 차트로 배포/운영 유연성 확보
- XCom, Pool, Sensors를 활용한 데이터 전달 및 자원 관리
- API 중심 관리와 모듈화된 배치 아키텍처 구성
적용 고려사항
- Kubernetes 클러스터 구성 및 보안 설정 필요
- Hadoop YARN 미지원 및 환경 호환성 확인
