핵심 요약
쏘카가 로그 파이프라인을 MSK 기반의 커스텀 컨슈머로 전환하고 SSoT를 도입해 실시간 분류 및 GCS/BigQuery 적재를 가능하게 하며 데이터 일관성과 신선도를 높였습니다.
구현 방법
- MSK 기반 커스텀 파이썬 컨슈머로 타입별 로그를 실시간 분류하고 DLQ 포함 안정적 처리, GCS 저장까지 연결
- Protobuf 스키마 관리에 Buf+Kafka Schema Registry를 활용한 데이터 컨트랙트 중심 운영 및 자동 코드 생성
- 데이터 흐름은 MSK → GCS(타입/일자 파티션) → BigQuery 외부 테이블 → 매일 내부 테이블로 적재, SSoT로 일관성 확보
주요 결과
- 실시간 분류 및 적재로 데이터 신선도 개선 및 분석 시나리오의 즉시 활용 가능
- 스키마 관리 체계 도입으로 변경 이슈 감소 및 운영 부담 감소
- 단일 소스 구조로 데이터 일관성 강화 및 파이프라인 운영 간소화
