핵심 요약
미리디가 9개 태스크를 균등하게 학습시키는 통합 검색 임베딩 모델을 개발하며, 태스크 간 간섭 원인을 분석해 프리픽스/데이터 프리픽스 도입, 태스크별 로그it scale 분리, Interleaved Smart Batching, LLM 평가와 그리드 풀링으로 비용을 절감하고 전체 성능을 개선했습니다. 9개 태스크의 평균 nDCG는 0.7249→0.8173, Precision은 0.6099→0.7322로 올랐습니다.
구현 방법
- Qwen3-VL-Embedding 기반 파인튜닝 도입
- 쿼리 프리픽스(서비스명)로 태스크 구분, 타깃 데이터 프리픽스(Template: Element: Photo:)로 대상 구분
- 태스크별 Temperature를 학습 가능한 파라미터로 분리
- Interleaved Smart Batching으로 태스크 단위 배치 구성 및 데이터 규모에 비례하는 사이클 운영
- LLM as Judge와 그리드 풀링으로 평가 비용 약 1/20 수준으로 감소
주요 결과
- 9개 태스크 평균 성능: nDCG 0.7249 → 0.8173, Precision 0.6099 → 0.7322
- 표준편차 감소: nDCG 15.7%p → 8.2%p, Precision 17.9%p → 10.4%p
- 실서비스 대비 평균 상승: nDCG +2.1%p, Precision +4.8%p
- 요소 스타일검색은 큰 회복, 일부 태스크의 여지는 남아 있음
- 앞으로는 의미/스타일 정보를 하나의 임베딩에 공동 보존하는 방법이 남은 과제
