핵심 요약
현대자동차가 BGE-M3 임베딩 모델을 활용해 다국어 지원과 다중 벡터 Retrieval 기반의 RAG 구현 가능성을 제시했습니다.
구현 방법
- PyTorch 기반으로 임베딩 레이어(단어/위치/토큰 타입)와 24층 Transformer 블록, 1024 차원 벡터를 사용해 CLS 토큰으로 Dense 벡터를 추출합니다.
- Dense Retrieval, Lexical Retrieval, Multi-Vector Retrieval을 함께 활용하는 다중 검색 구성을 적용합니다.
- XLM-RoBERTa 계열 구조에 기반하되 RoPE 등 최신 기법은 적용하지 않는 단순한 설계로 구현 용이성을 강조합니다.
주요 결과
- MTEB 한국어 벤치마크에서 탁월한 성능으로 다국어 검색/분류에 강점을 보일 수 있다고 제시합니다.
- 다국어 임베딩의 품질과 검색 정확도 향상을 기대합니다.
