핵심 요약
Naver Search Data & Analytics는 사용자 로그에서 추출한 User Success/ User Effort 시그널을 결합한 SQM을 개발해 검색 품질을 정량화합니다. Explanable Boosting Model(EBM)로 비선형 관계를 포착하고, 정답형/탐색형 질의에 따라 만족도 기준을 다르게 적용합니다. 오프라인 평가에서 5점 SRP 레이블을 사용했고, AUROC는 약 0.68로 확인되었습니다. SQM은 연간 품질 KPI 및 검색 결과 개선 의사결정의 핵심 지표로 활용됩니다.
구현 방법
- User Success: 클릭/뷰 활동
- User Effort: Scroll Depth, Manual Requery
- 레이블: 5점 SRP 만족도(오프라인 평가 플랫폼)
- 모델: Explanable Boosting Model로 피처-레이블 관계를 해석 가능하게 학습
- 구분: Top1 결과 유형별 정답형/탐색형에 따라 만족도 계산 기준 차등
주요 결과
- SQM은 연간 품질 KPI 및 검색 결과 개선 의사결정의 핵심 지표로 채택
- 다양한 질의에서 품질 문제를 교차 검증 가능하게 진단 지원
- 비선형 관계를 해석 가능한 모델로 구현되어 디버깅 및 개선 방향 도출에 기여
