핵심 요약
Netflix의 TimeSeries 아키텍처는 핫 데이터를 빠르게 유지하고, 오래된 데이터는 Kafka+Flink→S3와 Cassandra 백업 기반 콜드 스토리지로 이동시켜 읽기 지연과 스토리지 비용을 대폭 줄였습니다.
구현 방법
- Time Slices/Immutable Windows로 파티션 및 메타데이터 관리
- Kafka+Flink로 시간 단위 Parquet 파일 생성, Row Group 4–8MB, 이벤트 정렬, Bloom 필터 EVCache 활용
- ROCS(ReadOnlyCompactionStrategy) 기반 백업 읽기 및 Memtable 초기화 자동화
주요 결과
- p50 약 150ms, p99 약 500ms 읽기 지연
- Cold tier에서 초당 최대 1,250건 읽기 처리
- 총 저장 데이터 15PB 규모, 디스크 사용량 80%→7%로 절감
