인코어드의 AWS HPC 환경에서 WRF 실행하기 [2부: MPI/OpenMP 하이브리드 병렬화 튜닝 심층 분석]

핵심 요약

AWS가 인코어드의 WRF 실행을 AWS HPC에서 분석해 MPI:OpenMP 하이브리드 비율의 최적 구간을 도출했습니다. 모 도메인 d01의 병렬화 상한(180 MPI)으로 인해 24:8~48:4 구성이 최적으로 확인되었고, 노드 수에 따라 최적 조합이 달랐습니다.

구현 방법

• WRF 버전 v4.4.2, pure spin(MPI+OpenMP 하이브리드), SMT 비활성화
• 인스턴스: hpc7g.16xlarge, hpc6a.48xlarge, hpc8a.96xlarge; 3노드 구성
• 자도메인 d01의 상한 180 MPI로 제약, 중첩 도메인(d02) 병렬화 동작
• 24:8, 48:4, 64:3 등 비율 비교 및 wall time, EFA 트래픽 측정

주요 결과

• 최적 구간: 24:8 ~ 48:4
• 3노드: 64:3 101.14분, 48:4 98.12분, 24:8 97.25분
• 2노드: 96:2 122.52분, 48:4 112.69분, 24:8 117.23분
• 높은 CPU 사용률이 항상 성능 향상을 보장하지 않으며, 패치 크기와 halo 비용도 큰 영향을 미침