핵심 요약
무신사 스냅의 이미지 기반 검색 PoC를 통해 태그 의존 없이도 유사 상품 추천과 자연어 검색이 가능함을 확인했습니다.
구현 방법
- Object Detection: YOLOS-Fashionpedia로 아이템 위치를 Bounding Box로 식별
- Embedding: 탐지 아이템을 잘라 FashionCLIP 2.0으로 벡터화
- Vector Search: AWS OpenSearch의 k-NN(HNSW)으로 유사도 검색 및 메타데이터 결합
- 자연어 검색: Claude 3 Sonnet으로 스타일 설명 생성 후 Titan Text Embedding으로 벡터화
- 구성: SageMaker Endpoint로 모델 서빙, API Gateway/Lambda로 요청 처리
주요 결과
- Precision@5 0.81, MRR 0.76
- 데이터셋 5,032개 이미지 대상 벡터 검색
- 총 비용 $2,798 (SageMaker 58%, Bedrock 26%, OpenSearch 13%)
