핵심 요약
AWS가 TwelveLabs Marengo 3.0으로 생성한 비디오 임베딩을 OpenSearch Serverless와 S3 Vectors에 저장하고 벡터 검색 성능을 비교하는 과정을 다룬 기술 블로그를 공개했습니다.
구현 방법
- OpenSearch Serverless: VECTORSEARCH 컬렉션 구성, 임베딩 차원 512, FAISS/HNSW 기반 인덱스 설정, 하이브리드 검색(벡터 + 키워드) 지원, 배치 인제스트 200개 단위로 수행, 동일 리전 및 Interface VPC Endpoint 구성.
- S3 Vectors: Vector Bucket 및 512차원 인덱스 생성, 배치 인제스트 500개, put_vectors API 활용, 벡터 검색은 query_vectors로 상위 k개 검색, 벡터 키 기반 upsert 가능.
주요 결과
- OpenSearch Serverless: 인제스트 약 16.80초, 검색 레이턴시 p50 약 25.18ms, p95 약 36.77ms(주요 규격: k=5). k를 10/20으로 늘려도 p50이 약 24ms 내외로 유지.
- S3 Vectors: 인제스트 약 4.12초, 검색 레이턴시 p50 약 65.32ms, p95 약 180.99ms(주요 규격: k=5). k를 10/20으로 늘려도 p50은 약 61–63ms대 유지.
