핵심 요약
여기어때가 전시개발팀의 트래픽 특성에 맞춘 관측 가능성 대시보드를 구현해 장애 대응의 신속성과 인사이트를 개선했습니다. OpenTelemetry 기반 파이프라인으로 Metrics(Mimir), Traces(Tempo), Logs(Loki)를 Grafana와 연결하고, 내부 AI 에이전트 Yapp MCP를 활용해 반복 작업을 보조합니다.
구현 방법
- OpenTelemetry 기반 수집 파이프라인 설계 및 Metrics(Mimir), Traces(Tempo), Logs(Loki) 간 연계
- 대시보드 구성: 서비스 개요, 현재 상태 수치(요청/성공/실패, TPS), Incoming/Outgoing 구분, 트레이스 디테일로의 클릭 이동
- UX 강화 및 자동화: Drill-down 및 스캐터 차트 유사 기능 재현, Yapp MCP를 통한 쿼리 탐색 자동화 보조
주요 결과
- 장애 원인 식별 및 대응 흐름의 직관성 향상
- 이벤트/온콜 상황에서 관측 데이터의 활용성 증가
- 팀의 관측 가능성 도구 확장으로 운영 편의성 상승
