핵심 요약
다나와가 데이터 파이프라인을 Logstash로 이관해 유지보수 비용을 줄이고 성능을 대폭 개선했습니다.
구현 방법
- 기존 서비스의 RabbitMQ 의존성을 줄이고 Logstash의 output 설정으로 MQ 이관을 간소화
- 모듈형 파이프라인 구성 및 pipeline.yml에서 glob 표현식으로 분기 정의
- sincedb를 이용한 마지막 읽은 위치 관리 및 데이터의 전처리 후 MQ 전송
- dead letter queue를 통해 장애 시 안정성 확보
- 단일 이관으로 Queue Loader 외 다른 MQ 의존 서비스도 점진적 개선 가능
주요 결과
- 기존 서비스 약 25초 걸리던 처리 시간이 대폭 개선되었고, 전체적으로 약 80% 이상 성능 개선 확인
- 1분간 1GB 규모의 로그 파일 처리 테스트에서 차이가 약 5초로 관찰
- 유지보수 용이성 증가와 핵심 비즈니스 로직 집중 가능성 향상
