핵심 요약
잡코리아가 TestRail의 자연어 테스트 케이스를 LLM 에이전트가 이해하고 실행하는 자동화 PoC를 구축했습니다.
구현 방법
- TestRail REST API 연동 레이어로 케이스 조회와 실행 결과 업로드를 구현
- 프롬프트 빌더에서 정책 JSON/컨텍스트 JSON을 활용해 케이스를 LLM이 이해하도록 변환(다중 LLM 및 LangChain 관리 포함)
- browser-use 기반 Playwright 브라우저 자동화와 실시간 로그를 WebSocket 대시보드로 전송
주요 결과
- 실시간 로그와 스크린샷이 대시보드에 표시되어 실행 흐름을 한눈에 파악 가능
- 케이스-코드 동기화를 해결하는 단일 진실의 소스(Single Source of Truth) 구조 도입으로 유지보수 부담 감소 가능성
- 다중 LLM 및 프로세스 격리로 실패 영향이 최소화되며 안정성 향상 가능성 확인
