인코어드, AWS HPC WRF 시뮬레이션 MPI/OpenMP 병렬화 튜닝 심층 분석

• MPI rank를 세분화할수록 성능이 향상되지 않으며, 가장 느린 구성(2노드 64:3)과 가장 빠른 구성(3노드 24:8) 간 실행 시간 차이가 최대 약 22% 발생함
• 최적 병렬화 구간은 24:8 ~ 48:4로 확인되었으며, CPU 사용률이 높다고 효율이 좋은 것은 아님
• 순수 spin 모드에서 통신 대기 중 CPU 점유로 인한 오버헤드가 성능 저하의 주 원인임

실험 환경 및 제약

• WRF v4.4.2, 1,000m 해상도, 10분 단위 시뮬레이션 환경에서 hpc7g, hpc6a, hpc8a 인스턴스 사용
• 모 도메인 d01 격자 수(18,240칸)에 따라 MPI 프로세스 상한이 180개로 결정됨
• 하이퍼스레딩 OFF 설정으로 1 vCPU = 1 물리코어 기준 성능 측정

성능 및 통신 분석

• 2노드 96:2 구성은 24:8 대비 송신 패킷 수 84.6% 증가, 평균 패킷 크기 감소로 지연 발생
• 대역폭 포화가 아닌 작은 패킷 증가에 따른 통신 처리 오버헤드 및 지연 누적 영향
• 반복 실행 시 변동폭이 매우 작아(hpc8a 3노드 기준 최대 0.10분) 설정 간 차이가 명확함

AWS HPC 활용 및 한계

• 온프레미스 초기 투자 없이 최신 하드웨어 및 최대 300 Gbps EFA 활용 가능
• 서울 리전에서 HPC 전용 인스턴스 사용 불가하며, 해외 리전 사용 시 데이터 거버넌스 검토 필요
• 신규 인스턴스 수요 집중 시간대 노드 확보를 위해 Capacity Reservations 권장