핵심 요약
여기어때가 쉐도잉 검증을 라이브러리화하고 Grafana/Prometheus/Loki 기반 대시보드로 운영 트래픽의 차이를 신속히 파악하도록 개선했으며, 일치율 99.98%를 달성했습니다.
주요 경험
- 로그 분산과 재현의 어려움을 해결하기 위한 공통 쉐도잉 라이브러리 도입 및 Phase 구분
- 대시보드 구성에 Grafana/Prometheus/Loki를 활용해 쉐도잉 실행, 결과, 원인까지 실시간으로 모니터링 가능하게 함
- 샘플링, 원본 이벤트 로그 연동, 필드별 불일치 표 등으로 노이즈를 제거하고 재현성을 확보
얻은 인사이트
- 운영 데이터에서 차이를 빠르게 추적해 QA 부담을 감소시킴
- 필드별 불일치 목록과 원본 이벤트를 Loki에서 직접 조회해 원인 파악을 신속하게 개선
- 라이브러리화를 통해 신규 API에도 동일한 쉐도잉 흐름의 재활용이 용이해짐

![[2편] Grafana 커스텀 패널로 10만 점 산점도 그리기 — 만들고 나서야 보인 함정 3가지 섬네일](https://miro.medium.com/v2/resize:fill:64:64/1*dmbNkD5D-u45r44go_cf0g.png)