핵심 요약
왓챠가 Argo Workflows로 멀티 클라우드 데이터 마이그레이션 파이프라인을 통합 관리하고, DynamoDB Incremental Export 도입으로 비용과 보안을 크게 개선했습니다.
구현 방법
- Argo Workflows 기반 Cron Workflow와 3개의 템플릿으로 파이프라인 관리
- AWS S3 ↔ Google Cloud Storage 간 데이터 전송에 역할 기반 페더레이션 적용
- Incremental Export로 변경 데이터만 추출하고 필요 시 Full Export로 재동기화 가능
주요 결과
- DynamoDB 마이그레이션 비용 95% 절감
- 운영 부하 감소 및 모니터링 개선
- 임시 자격증명을 활용한 접근으로 보안성 대폭 강화
