핵심 요약
네이버페이가 Playwright E2E 테스트와 AI 에이전트 기반 자가개선 루프를 도입해 10개 핵심 흐름(약관 동의→인증→대출 조회 등)을 자동화하고 테스트 실행 속도와 신뢰성을 크게 향상했습니다.
구현 방법
- Playwright codegen으로 초안 생성, Planner/Generator/Healer 에이전트가 계획·작성·수정을 자동화
- 10개 흐름(총 37개 라우트) 중심의 자동화 배치, pnpm e2e로 병렬 실행하여 실행 시간 대폭 단축
- 인증 상태를 storageState로 재사용하고 test.beforeEach로 시작점을 고정해 테스트 독립성 확보
- 외부 의존성은 페이지 라우트 모킹과 서버 측 분기로 관리
- AGENTS.md, e2e-testing.md 등 가이드와 유틸로 에이전트 맥락 적응성 확보
주요 결과
- 20분가량 소요되던 수동 검증을 3분 내로 단축
- CI에서 워커 간 간섭 제거로 병렬 실행 안정성 강화
- trace 아티팩트 기반 디버깅 및 자가개선 루프(계획·작성·수정) 구현
