핵심 요약
카카오페이가 실시간 OLAP을 위한 Apache Pinot 운영 노하우를 공유합니다.
주요 경험
- 실시간 분석 환경 구축을 위해 Pinot 도입 및 운영 체계를 수립하고, 데이터 ingest 흐름과 스키마 설계, Pinot 구성(브로커/리더/서버) 및 segment 관리의 기본 흐름을 정의했습니다
- 쿼리 성능을 위한 차원 테이블 설계와 서브쿼리, 필터 푸시다운 등의 튜닝 포인트를 파악하고, 쿼리 실행 계획 가이드라인을 팀에 공유했습니다
- 운영 관찰 포인트와 안정성 확보를 위한 모니터링 지표, 알림 정책, 백업/복구 절차를 포함하는 운영 매뉴얼과 배포 파이프라인을 구성했습니다
얻은 인사이트
- 오픈소스 도구 도입 시 초기 러닝 커브를 팀의 문서화와 내부 워크숍으로 극복하는 것이 중요하다고 판단했습니다
- Pinot의 구성요소(브로커, 데이터 서버, 자원 할당)의 역할 분담이 운영 효율과 실패 격리에 큰 영향을 준다는 점을 확인했습니다
- 운영 노하우를 재사용 가능한 문서화와 코드 수준의 자동화로 확장하여 온보딩 속도와 문제 대응 시간을 단축할 수 있었습니다
