핵심 요약
토스의 Toss Payments 팀은 CDC 기반 메시지 발행과 Kafka/Flink를 통해 StarRocks에 실시간 데이터를 반영하고, Elasticsearch와의 협업 하이브리드로 대규모 원장을 빠르게 조회하는 아키텍처를 구축했습니다.
주요 경험
- CDC 기반 메시지 발행으로 멱등성 이슈를 감소시키고 도메인 의존성을 낮췄다.
- StarRocks 도입으로 멱등성/조인 한계를 극복하고 Colocation Group, Prefix Index, Sort Key 등으로 대규모 조인 및 데이터 스캔을 크게 개선했다.
- Rollup 도입으로 실시간 조회를 0.5~1초 수준으로 단축했고, Elasticsearch와의 하이브리드로 검색 성능과 비용을 균형적으로 관리했다.
- 월 약 5천만 원 이상의 클라우드 비용 절감 효과를 달성했다.
얻은 인사이트
- 스캔 최소화와 멱등성 설계가 속도와 정확성의 핵심임을 확인했다.
- 조인 최적화를 위한 Colocation Group 운영 가드레일의 필요성이 중요하다고 보았다.
