핵심 요약
AWS가 Config의 EKS Spot 기반 대규모 RFM 데이터 파이프라인 구축 사례를 공유했습니다. SQS+Lambda의 순차 처리에서 벗어나 비용을 크게 줄이고 처리 시간을 단축한 아키텍처입니다.
구현 방법
- EKS + RabbitMQ(Quorum Queue) + KEDA + Karpenter로 동적 큐 패턴 구현
- 배치별 큐/DLQ 자동 생성, x-delivery-limit, 20분 컨슈머타임아웃, DLQ TTL 설정
- 3단계 라벨링 파이프라인(CPU-GPU-CPU)과 자동 스케일링 연결
주요 결과
- 비용 70–90% 감소; 처리 시간 수 일 → 수 시간
- 1000+ Pod 동시 운영 가능; Spot 중단 시에도 재처리 보장
- 운영 가시성: 관리 UI로 상태 모니터링
