핵심 요약
네이버 플레이스의 Trino를 YARN에서 Application 형태로 운영하며, 데몬 메모리 제외 및 RESERVED Resource 반영 등 리소스 조정을 통해 클러스터 가용 메모리를 약 40% 증가시켰고, Coordinator/Worker 구성과 모니터링 체계도 정비하였습니다.
구현 방법
- Node Resource: 데몬 메모리 제외 후 100GB로 최대치 제한
- AM Container 및 노드 리소스: AM 4GB/1vCore, 특정 노드 96GB/47vCores, 나머지 노드 100GB/48vCores
- 작업 배치: 쿼리 처리 주력은 Worker에 최대 리소스 할당, Coordinator는 관리 포인트 최소화
- RESERVED Resource: 기아 상태 방지 위해 전체 큐 리소스 재조정
- 최종 리소스 설정: Coordinator 56GB/29vCores, Worker 98GB/47vCores
- 운영 안정성: Active Nodes Alert 도입 및 모니터링 강화
주요 결과
- 모든 Worker가 정상 실행 및 자원 활용 극대화
- Trino JVM Heap 최적화: Coordinator 45GB, Worker 88GB
- 쿼리 메모리 관련 테스트 진행 및 운영 시 가용 여력 확보 방안 마련
- Dev Queue에 spill-enabled 및 spill-path 고정 설정으로 메모리 초과 대비
