핵심 요약
무신사 Automation QE팀이 프레임워크 3.0을 도입해 공유 Queue 기반의 동적 시나리오 분배와 중앙 디바이스 관리로 자동화 런을 대폭 개선했습니다.
구현 방법
- 공유 Queue 도입으로 기기가 실행할 시나리오를 동적으로 분배하고 재할당 없이 처리 효율을 높임
- 중앙 설정으로 QE팀 서버에 기기 정보를 등록하고 즉시 Queue 참여 가능
- 러너와 대시보드가 같은 소스에서 작동하도록 구성하고 --device local|pipeline 옵션으로 로컬/파이프라인 구분 제거
- Slack 알림을 메인 스레드와 실패 스레드로 분리해 노이즈를 줄이고 실패 이슈를 한 곳에서 추적
- 대시보드 도입으로 진행 상황 한 화면에서 확인 가능
- 시나리오 대기 시간 및 세션 기동 시간 개선: 세션 16.7→11.3초, Android 132.9→90.0초, iOS 81.7→62.7초
- 기기 확장: 4대에서 7대로 증가(최근 10대까지 커버리지 확장)
주요 결과
- 공유 Queue 도입으로 대기 시간 감소 및 기기 활용도 증가
- 세션 기동 시간 및 시나리오 실행 시간 대폭 단축
- iOS 런타임 25→12분, Android 런타임 20→10분으로 전체 런 시간 크게 감소
- 기기 수 증가에 따른 처리 용량 확대(4대→7대; 커버리지 10대까지 확장)
