핵심 요약
무신사 브랜드 29CM QA 팀은 Grafana Dashboard로 자동화 결과를 DB화하고 주간 분석으로 Fail률을 0.5%대까지 낮춘 사례를 공유합니다.
구현 방법
- Grafana Dashboard로 날짜별 Fail률, 수행 시간 등 지표를 시각화하고 2024년 1월부터 자동화 결과를 DB에 적재
- Jenkins 기반 자동화, 24시간 주기 실행으로 피크 기간에는 하루 최대 50회 수행
- 7월~9월의 개선으로 로그인 강화, UI 탐색 안정화, 텍스트 정합성 및 패싯 관리로 환경 일관성 유지
주요 결과
- 7월: Fail률 대부분 1% 미만, 간헐적으로 2% 근접
- 8월: 0.7%를 넘는 날짜 다수 존재하며 추가 개선 필요
- 9월: 신규 시나리오 추가에도 0.5% 미만으로 목표 달성
- 향후 AI 기반 주간/월간 자동 분석 리포트 도입 및 개발 진행 중
