핵심 요약
올리브영이 CSP 기반 자동화 테스트를 도입해 STG 통합테스트, 정기/긴급/분리 배포 후 모니터링 테스트를 자동화하고 데이터 정합성 확인까지 강화해 품질 관리와 운영 리소스 감소를 달성했습니다(평균 2MD의 리소스 감소).
주요 경험
- 백오피스 API를 활용해 직매입 상품 코드와 재고/상태/프로모션 데이터를 수집하고, 이를 바탕으로 상품 원가, 프로모션가, 배송비 정책 등을 검증했습니다
- UI 자동화(Selenium, Appium)와 API 데이터 검증을 결합해 사용자 흐름과 데이터 일치를 함께 확인했습니다
- TeamCity로 자동 실행하고 Datadog으로 Hit Rate를 모니터링해 기준치를 초과하면 CSP 테스트를 자동으로 실행합니다
- 테스트 결과는 TestRail에 기록하고 Slack으로 공유합니다
얻은 인사이트
- 데이터 중심 테스트가 UI 위주보다 더 정확하고 신뢰성을 높임
- UI 변경이 잦은 영역은 유지보수 비용을 고려해 선별적 자동화를 적용하는 것이 효과적임
- 신속한 이슈 대응을 위한 리포트 체계와 모니터링이 중요
