핵심 요약
무신사 29CM QE팀은 Grafana Dashboard를 활용한 데이터 기반 분석으로 테스트 자동화 결과를 DB화하고, Fail률 목표를 0.7% 미만에서 9월 0.5% 미만으로 달성하는 등 안정성과 품질 개선에 성공했습니다.
구현 방법
- Grafana Dashboard를 기반으로 자동화 수행 결과를 DB에 축적하고, Fail률·수행 시간 등 지표를 시각화했습니다.
- 7-9월 개선 사이클에서 사전 로그인 강화, 선택 동작 안정화, 시간대 분기, A/B실험 대응, 카테고리 고도화, 텍스트 정합성 검증 등 구체적 개선을 수행했습니다.
- 주간 위클리 회의와 20-30분 단위의 자동화 주기 단축을 통해 실행과 이슈 공유를 원팀으로 관리했습니다.
주요 결과
- 7월: 대다수 시나리오의 Fail률은 1% 미만이나 간헐적으로 2%에 근접했고, 4%를 초과한 사례도 있었습니다.
- 8월: 7월 대비 Fail률이 감소했으나 0.7% 목표를 달성하진 못하는 날짜가 다수 존재했습니다.
- 9월: 신규 시나리오 추가에도 불구하고 Fail률이 0.5% 미만으로 달성했습니다.
- 앞으로는 AI를 활용해 주 단위/월 단위 자동 분석 및 리포트를 작성할 예정입니다.
