핵심 요약
AWS가 ElastiCache for Valkey의 벡터 검색과 CESC를 적용해 타닥 v2의 멀티버스에서 시맨틱 캐싱 기반 캐시 적중률을 높이고 반응 속도를 개선했습니다.
구현 방법
- NodeJS 백엔드에서 AWS SDK와 Valkey GLIDE로 메타데이터와 벡터 스토어를 연동
- 입력/월드 메타데이터/캐릭터 상태를 결합한 임베딩 벡터로 캐시 생성
- 코사인 유사도 기반 벡터 검색과 하이브리드 검색
- 월드 ID별 인덱스와 HNSW로 확장성 확보
- LLM 검증으로 재랭킹
주요 결과
- 캐시 적중 시 평균 응답 100ms 미만, 기존 대비 약 98% 단축
- 트래픽의 약 35%를 캐시 처리로 비용 절감 및 LLM 호출 감소
