핵심 요약
AWS가 당근의 피처 플랫폼 구축 여정에서 피처 수집 파이프라인의 설계와 성과를 공유합니다.
구현 방법
- 스트림 수집: Amazon MSK + Amazon EKS 기반 Dispatcher/Aggregator 아키텍처로 이벤트를 수신, 가공, 저장합니다.
- 배치 수집: Scheduler가 AWS Batch(Fargate) 작업을 등록하고 크론잡/백필을 통해 대규모 데이터를 일괄 적재합니다.
- 저장/운영: DynamoDB, ElastiCache, Redis OSS를 활용해 피처를 저장·캐시하고, Write-through/Write-around으로 전략화합니다.
주요 결과
- CTR 30%, 전환율 70% 증가로 추천 품질이 향상되었습니다.
- ElastiCache Redis 비용이 약 40% 절감되었습니다.
- 단일 파티션에서의 병렬 처리 도입으로 처리 속도가 개선되고 대량 이벤트를 안정적으로 처리합니다.
