[發明專利]一種基于OpenMP/MPI混合編程的CFD仿真程序的通信優化方法

有效

• 申請號: 201810308300.4
• 申請日: 2018-04-08
• 公開（公告）號: CN108595277B
• 公開（公告）日: 2021-01-19
• 發明（設計）人: 董小社;何鋒;張興軍;張瓊;劉闖;鄒年俊;肖兮
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 徐文權

本發明公開了一種基于OpenMP/MPI混合編程的CFD仿真程序的通信優化方法，具體以下步驟：根據通信負載和計算負載對計算域進行區域分解，劃分為可并行求解的若干子域；根據{進程，線程組}的設置情況，確定各個網格塊之間的網絡拓撲關系，創建并初始化進程間的MPI持久化通信關系；線程間無關計算推進結束后，進程間激活MPI通道進行消息通信，同時線程組內使用共享內存通信，實現網格塊之間的邊界數據交換；線程組內計算殘差，進程間收集最大殘差，如果最大殘差仍未滿足收斂條件返回網格推進步驟進行迭代，否則結束并行計算。從而能有效的提升CFD仿真程序的并行效率。

技術領域

本發明屬于計算流體力學與計算機交叉領域，特別涉及一種基于OpenMP/MPI混合編程的CFD仿真程序的通信優化方法。

背景技術

計算流體動力學(Computational Fluid Dynamics，簡稱CFD)是伴隨著計算機迅速崛起的一門交叉學科分。它為流體力學的理論和工程研究供了廉價的模擬、設計和優化的工具，廣泛的服務于傳統的流體力學和流體工程領域如航空、航天、船舶、水利等。CFD方法的本質是對流場的控制方程用計算數學的方法將其離散到一系列網格節點上求其離散的數值解的一種方法。因此網格點的規模大小就決定了CFD問題的求解復雜度。計算機發展之初主要是單核模式，計算流體力學仿真程序以串行模式運行，受限于計算機的計算能力，只能對小規模的區域網格進行模擬而且精度不高。

隨著超級計算機(簡稱超算)的不斷發展，計算能力也達到千萬億次的峰值。為了借助于多核架構的超級計算機進行計算流體力學的仿真，CFD程序也走向了并行化，并行過程中進程/線程間額外的通信消耗也成為整個仿真程序的瓶頸。超算大多基于對稱多處理機(Symmetrical Multi-Processing，簡稱SMP)的架構，具有整機多機柜，機柜內節點，節點內多CPU，CPU多核的特點，采用單一的共享內存通信OpenMP或者是消息傳遞通信MPI都無法充分利用超算本身架構的特點。

目前混合編程在CFD仿真程序中的使用較為粗放，大多數仿真程序為了利用超算多核特點簡化通信過程，大多采用純MPI的架構，這種架構在程序規模逼近萬核時，進程間頻繁消息通信造成的網格帶寬壓力形成明顯的瓶頸。少數使用了OpenMP/MPI混合編程的程序，都只是停留在OpenMP對局部for循環的細粒度展開加速，缺乏相應的優化策略，沒有發揮粗粒度OpenMP共享內存通信的優勢。

發明內容

本發明的目的在于提供一種基于OpenMP/MPI混合編程的CFD仿真程序的通信優化方法，以解決上述問題。

為實現上述目的，本發明采用以下技術方案：

一種基于OpenMP/MPI混合編程的CFD仿真程序的通信優化方法，包括以下步驟：

步驟一，根據通信負載和計算負載對計算域進行區域分解，劃分為可并行求解的若干子域；

步驟二，根據{進程，線程組}的設置情況，確定各個網格塊之間的網絡拓撲關系，創建并初始化進程間的MPI持久化通信關系；

步驟三，線程間無關計算推進結束后，進程間激活MPI通道進行消息通信，同時線程組內使用共享內存通信，實現網格塊之間的邊界數據交換；

步驟四，線程組內計算殘差，進程間收集最大殘差，如果最大殘差仍未滿足收斂條件則返回步驟二進行迭代，否則并行計算結束。

進一步的，步驟一具體包括以下步驟：

1)根據通信負載將求解網格劃分為若干個較大的子網格塊，每個進程負責一個網格塊的計算；

2)根據計算負載將進程的網格塊在劃分為若干個較小的網格塊，每個線程負責一個小網格塊的計算；

線程數，進程數，細分后總的網格塊數目滿足：