핵심 요약
미리디가 텍스트/이미지/멀티모달 입력을 하나의 표현 공간에서 비교할 수 있는 통합 검색 임베딩 모델(Qwen3-VL-Embedding)을 도입하고 LoRA로 파인튜닝해 9개 검색 태스크를 하나의 모델로 처리하는 방향을 제시했습니다.
구현 방법
- Qwen3-VL-Embedding 도입 및 LoRA 기반 파인튜닝
- 텍스트-이미지 데이터의 관련성 필터링: MLLM으로 쿼리-대상 간 관련성 판단 후 노이즈 제거
- 스타일 검색 데이터 필터링: 모델 기반 필터와 규칙 기반 Head/Tail 필터를 병행
- 손실 함수 조합: NCE Loss, Ranking Loss, Spread-out Loss를 함께 최적화
- 학습 데이터 소스: 유저 채택 로그를 활용해 품질을 높임
주요 결과
- 9개 검색 태스크를 하나의 모델로 다루기 위한 학습 구조를 마련
- 텍스트/이미지/멀티모달 입력을 같은 표현 공간에서 비교 가능하게 하여 확장성과 유지보수성 강화의 기반을 마련
- 노이즈 감소 및 임베딩 공간의 균일성 확보로 확장성 향상 가능성
