핵심 요약
AWS가 운영하는 미리캔버스의 검색 인프라를 OpenSearch 3.3으로 업그레이드하고 신규 클러스터로 마이그레이션해 벡터 검색 성능과 저장소 효율을 개선했습니다.
구현 방법
- OpenSearch 3.3/Lucene 10.3 도입 및 derived source 적용으로 저장량 감소
- concurrent segment search로 다중 세그먼트 병렬 탐색 활성화
- 세그먼트 병합 정책 상향으로 세그먼트 수 감소 및 레이턴시 개선
- 신규 클러스터 + 도메인 스위칭으로 무중단 마이그레이션: 스냅샷 복원 및 재인덱싱
주요 결과
- CPU 사용 약 40% 감소(약 20%→12%)
- Read IOPS: 평균 4,550→3,190(-30%), 최소 3,550→2,270(-36%), 최대 5,250→3,500(-33%)
- 레이턴시: 평균 51.9ms→21.4ms(-59%), 최대 175ms→26.7ms(-85%)
- 세그먼트 수 240개→152개(-37%)
- 페이지 캐시 스래싱 감소 및 IOPS Throttling 제거로 안정성 강화
