핵심 요약
AWS가 OpenSearch Service와 RDS/Aurora를 연동하는 OpenSearch Ingestion 파이프라인으로 준실시간 데이터 동기화를 구현하고 검색 인덱스의 실시간 업데이트를 가능하게 했습니다.
구현 방법
- OpenSearch Ingestion으로 S3 초기 로드 후 CDC(WAL/binlog)로 거의 실시간 인덱싱
- Aurora MySQL(PostgreSQL) 및 RDS(MySQL, PostgreSQL) 지원
- 동적 매핑과 인덱스 템플릿으로 스키마 자동 매핑 및 커스텀 템플릿 적용
- IAM 역할 설정 및 OpenSearch Dashboards에서 인덱스 자동 생성
주요 결과
- 수동 개입 없이 데이터 최신 상태 유지로 검색 가용성 향상
- 초기 인덱스 생성 후 변경사항 거의 실시간 반영으로 지연 감소
- ETL 파이프라인 운영 부담 감소와 비용 절감 기대
