[發(fā)明專利]一種基于超級計算機的并行CFD計算與通信重疊優(yōu)化方法

有效

• 申請?zhí)枺?/td>: 201811062456.5
• 申請日: 2018-09-12
• 公開（公告）號: CN109088776B
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計）人: 張興軍;趙俊芳;魏恒義;安偉華;張強龍;董小社;李靖波;伍衛(wèi)國;鄒年俊;何峰
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F11/34;G06F9/455
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 徐文權(quán)

本發(fā)明公開了一種基于超級計算機的并行CFD計算與通信重疊優(yōu)化方法，包括以下步驟：首先通過區(qū)域分解將離散后的流場網(wǎng)格劃分為多個計算量均衡的流場區(qū)域。采用“單程序多數(shù)據(jù)”的數(shù)據(jù)并行策略，機群中每個節(jié)點計算其中一個流場區(qū)域的近似數(shù)值解。在計算過程中，根據(jù)流場網(wǎng)格在流場區(qū)域中的不同位置，將流場網(wǎng)格分為兩類：純內(nèi)部網(wǎng)格與邊界網(wǎng)格，位于不同節(jié)點的相鄰流場區(qū)域需要通過互連網(wǎng)絡(luò)通信交換邊界網(wǎng)格的流場數(shù)值；其次通過分析并行CFD算法中各流場數(shù)值的讀寫依賴關(guān)系，識別計算與通信過程的并行性；最后調(diào)整并行CFD程序的計算與通信流程，實現(xiàn)并行CFD程序的計算與通信重疊，并通過性能分析工具TAU(Tuning and Analysis Utilities)對計算與通信重疊后的并行CFD程序進行性能調(diào)優(yōu)。

技術(shù)領(lǐng)域

本發(fā)明屬于計算流體力學(xué)與計算機科學(xué)交叉領(lǐng)域，特別涉及一種基于超級計算機的并行CFD計算與通信重疊優(yōu)化方法。

背景技術(shù)

計算流體動力學(xué)（Computational Fluid Dynamics，CFD）作為一門涉及流體力學(xué)，數(shù)值數(shù)學(xué)和計算機科學(xué)的交叉學(xué)科，是繼理論分析和實驗驗證之后研究流動問題的第三種方法。基于CFD進行物理流場模擬時，首先要將物理流場離散化為流場網(wǎng)格，再利用數(shù)值方法將刻畫流體規(guī)律的流動控制方程轉(zhuǎn)化為求解每個流場網(wǎng)格上各物理量的代數(shù)方程組，以并行CFD程序為計算工具求得物理流場的近似數(shù)值解，用于模擬流體機械的復(fù)雜流動現(xiàn)象和變化規(guī)律。

現(xiàn)階段，采用機群系統(tǒng)結(jié)構(gòu)的天河二號為我國并行CFD程序擴大求解問題規(guī)模、提高求解精度、加快求解速度提供了硬件平臺。但是，相對于單節(jié)點的串行CFD程序，并行CFD程序會因為節(jié)點間的互連網(wǎng)絡(luò)通信開銷使程序的實測性能和理想性能之間存在一定差距。為了降低并行CFD程序在天河二號上運行時的互連網(wǎng)絡(luò)通信開銷，目前常用的通信優(yōu)化方法主要分為兩大類：第一類是通過以計算代替通信等方式優(yōu)化并行CFD算法，屬于CFD領(lǐng)域研究內(nèi)容；第二類是通過管理軟件優(yōu)化任務(wù)調(diào)度策略、設(shè)計低延遲高帶寬的物理硬件、實現(xiàn)高效的通信原語庫等優(yōu)化并行CFD程序，屬于計算機科學(xué)領(lǐng)域研究內(nèi)容。受限于研究領(lǐng)域的不同，研究人員對以并行CFD算法為核心的并行CFD程序進行通信優(yōu)化時，往往局限于各自的研究領(lǐng)域，只能達到有限的優(yōu)化效果。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于超級計算機的并行CFD計算與通信重疊優(yōu)化方法，以解決上述問題。

為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

一種基于超級計算機的并行CFD計算與通信重疊優(yōu)化方法，包括以下步驟：

步驟1，將整個待求解的物理流場離散為有限個流場網(wǎng)格，通過區(qū)域分解將離散后的流場網(wǎng)格劃分為多個計算量均衡的流場區(qū)域；采用“單程序多數(shù)據(jù)”的數(shù)據(jù)并行策略，機群中每個節(jié)點計算其中一個流場區(qū)域的近似數(shù)值解；在計算過程中，根據(jù)流場網(wǎng)格在流場區(qū)域中的不同位置，將流場網(wǎng)格分為兩類：純內(nèi)部網(wǎng)格與邊界網(wǎng)格，位于不同節(jié)點的相鄰流場區(qū)域需要通過互連網(wǎng)絡(luò)通信交換邊界網(wǎng)格的流場數(shù)值；

步驟2，通過分析并行CFD算法中各流場數(shù)值的讀寫依賴關(guān)系，識別計算與通信過程的并行性；

步驟3，調(diào)整并行CFD程序的計算與通信流程，實現(xiàn)并行CFD程序的計算與通信重疊，并通過性能分析工具對計算與通信重疊后的并行CFD程序進行性能調(diào)優(yōu)。

進一步的，步驟1具體包括以下步驟：

1)在每個流場區(qū)域的邊界網(wǎng)格之外引入一層虛擬網(wǎng)格，用于通信過程中接收相鄰網(wǎng)

格區(qū)域邊界網(wǎng)格的流場數(shù)值；

2)基于超級計算機天河二號消息傳遞接口MPICH-GLEX2中的非阻塞通信語句

MPI_Isend/MPI_Irecv/MPI_Wait實現(xiàn)并行CFD程序的通信過程；