핵심 요약
다나와가 엘라스틱서치 색인 최적화를 통해 색인 속도 안정성과 시스템 자원 활용을 개선했습니다.
구현 방법
- BulkProcessor API를 활용해 대용량 색인 요청 처리 효율화를 구현
- 백프레셔 로직으로 ES CPU 상태에 따라 색인 속도를 동적으로 제어
- 12개 색인 서버에 Express 프록시를 도입해 CPU 상태 조회를 중앙화
- 코디네이터 노드 추가로 색인 트래픽 라우팅 부하를 분산
주요 결과
- 운영 환경에서 전체 노드 CPU를 80% 이하로 유지하며 피크 부하를 안정적으로 처리
- 연결 끊김 현상 감소 및 데이터 정합성 개선
- 1,000만 건 데이터 처리에 약 14분 소요로 일관성 있는 처리 속도 확인
