[發明專利]一種基于超級計算機的并行CFD計算與通信重疊優化方法

有效

• 申請號: 201811062456.5
• 申請日: 2018-09-12
• 公開（公告）號: CN109088776B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 張興軍;趙俊芳;魏恒義;安偉華;張強龍;董小社;李靖波;伍衛國;鄒年俊;何峰
• 申請（專利權）人: 西安交通大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F11/34;G06F9/455
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 徐文權

1.一種基于超級計算機的并行CFD計算與通信重疊優化方法，其特征在于，包括以下步驟：

步驟1，將整個待求解的物理流場離散為有限個流場網格，通過區域分解將離散后的流場網格劃分為多個計算量均衡的流場區域；采用“單程序多數據”的數據并行策略，機群中每個節點計算其中一個流場區域的近似數值解；在計算過程中，根據流場網格在流場區域中的不同位置，將流場網格分為兩類：純內部網格與邊界網格，位于不同節點的相鄰流場區域需要通過互連網絡通信交換邊界網格的流場數值；

步驟2，通過分析并行CFD算法中各流場數值的讀寫依賴關系，識別計算與通信過程的并行性；

步驟3，調整并行CFD程序的計算與通信流程，實現并行CFD程序的計算與通信重疊，并通過性能分析工具對計算與通信重疊后的并行CFD程序進行性能調優；

步驟2具體包括以下步驟：

1)如果通信部分是非阻塞消息發送MPI_Isend過程，則通信前的計算過程是通信無關過程，當且僅當計算過程不對所發送的數據進行寫操作，即兩者不存在寫后讀數據依賴；

2)如果通信部分是非阻塞消息接收MPI_Irecv過程，則通信前的計算過程是通信無關過程，當且僅當計算過程不對所接收的數據進行讀或寫操作，即兩者不存在讀后寫或寫后寫數據依賴；

3)如果通信部分是驗證消息傳遞是否完成MPI_Wait過程，則通信后的計算過程是否是通信無關過程依賴于與MPI_Wait配對的是消息發送MPI_Isend過程還是消息接收MPI_Irecv過程：若為前者，則通信后的計算過程是通信無關過程，當且僅當計算過程不對所發送的數據進行寫操作，即兩者不存在讀后寫數據依賴；若為后者，則通信后的計算過程是通信無關過程，當且僅當計算過程不對所接收的數據進行讀或寫操作，即兩者不存在寫后讀或寫后寫數據依賴；

步驟3具體包括以下步驟：

1)通過步驟2識別出并行CFD算法中獨立于通信的計算過程后，分別前移非阻塞消息發送MPI_Isend/非阻塞消息接收MPI_Irecv過程，后移驗證消息傳遞是否完成MPI_Wait過程，使非阻塞通信區間包含盡量多獨立于通信的計算過程，基于天河二號網卡端NIC提供的卸載優化機制完成并行CFD程序的計算與通信重疊；

2)使用性能分析工具TAU對計算與通信重疊后的并行CFD程序進行插樁性能分析，通過獲得的統計數據和事件跟蹤文件分析計算與通信重疊是否隱藏全部通信開銷；若計算不足以隱藏通信開銷，則返回步驟2發掘更多可重疊的計算過程，直到并行CFD算法中與通信獨立的計算過程全部被重疊；若計算足以隱藏通信開銷，則終止循環。

2.根據權利要求1所述的一種基于超級計算機的并行CFD計算與通信重疊優化方法，其特征在于，步驟1還包括以下步驟：

1)在每個流場區域的邊界網格之外引入一層虛擬網格，用于通信過程中接收相鄰網格區域邊界網格的流場數值；

2)基于超級計算機天河二號消息傳遞接口MPICH-GLEX2中的非阻塞通信語句MPI_Isend/MPI_Irecv/MPI_Wait實現并行CFD程序的通信過程；

3)基于天河二號消息傳遞接口MPICH-GLEX2中的虛擬進程簡化并行CFD程序的通信實現過程。