인코어드의 AWS HPC 환경에서 WRF 실행하기 [1부: HPC 전용 인스턴스 선택과 비용 최적화]

핵심 요약

AWS의 HPC 환경에서 WRF 워크로드의 MPI/OpenMP 비율과 노드 구성을 최적화해 목표 시간 달성과 비용 효율을 균형 있게 달성하는 경험과 교훈을 공유합니다.

주요 경험

• MPI rank 수와 OpenMP 스레드의 균형, 그리고 노드 수가 실행 시간에 큰 영향을 주며, 단순 코어 증가가 항상 속도 향상을 주지는 않습니다.
• CPU 사용률 증가만으로 성능이 개선되지 않으며, EFA 패킷 빈도와 네트워크 특성이 전체 실행 시간에 결정적 영향을 미칩니다.
• 비용은 시간당 요금이 낮은 인스턴스일수록 총 실행 시간과 노드 수에 의해 좌우되며, 낮은 단가로도 많은 노드를 쓰면 총비용이 증가할 수 있습니다. 최적 후보로는 hpc7g 10노드 구성이 도출되었고, hpc8a도 대체 가능하나 1위는 유지하기 어렵습니다.