[發明專利]一種適合復雜異構系統的HPL的Panel分解優化方法和裝置

有效

• 申請號: 202010636408.3
• 申請日: 2020-07-03
• 公開（公告）號: CN111913747B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 趙慧;楊文浩;黎雷生;張婭;孫家昶
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06F9/38
• 分類號: G06F9/38
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

1.一種適合復雜異構系統的HPL的Panel分解優化方法，其特征在于，包括以下步驟：

對與Panel分解計算有關的基本參數進行調優；

利用調優后的基本參數，通過GPU加速Panel分解；

對Panel廣播進行優化，使得Panel數據廣播與Panel分解計算并行處理；

所述Panel分解使用遞歸算法，中間遞歸層次的浮點運算集中在BLAS的DTRSM和DGEMM兩個函數，當遞歸層次包含的列數小于等于閾值時，使用非遞歸算法，浮點運算集中在BLAS的DGEMV、DTRSV、DSCAL、IDAMAX函數，其中DGEMM時間所占比例最大；DGEMM函數在Panel分解遞歸層次調用，根據Panel分解的left-looking算法，從左到右執行LU分解，左側的subpanel完成分解之后，執行DGEMM，更新相同層次的右側的subpanel，采用GPU加速DGEMM進行優化；

所述采用GPU加速DGEMM進行優化，包括：首先把左側subpanel和相應的U數據傳輸到GPU設備內存，然后執行DGEMM更新GPU內存的右側subpanel，更新后數據傳輸到CPU端內存，然后繼續執行后續的panel分解；

所述對Panel廣播進行優化，包括避免數據封裝和Panel廣播流水優化：

所述避免數據封裝，是通過使用二維復制接口把Panel數據復制到連續存儲區域；Panel分解計算完成后，MPI接口直接使用緩沖區即連續存儲區域的數據，從而達到避免數據封裝的目的；

所述Panel廣播流水優化，是對已分解的subpanel數據提前發起廣播，使得Panel數據廣播與Panel分解計算并行。

2.根據權利要求1所述的方法，其特征在于，所述與Panel分解計算有關的基本參數包括：

NB、NBMIN、PFACT、RFACT、DIV；其中NB取決于GPU執行矩陣更新的效率，同時考慮CPU與GPU計算的平衡；節點規模較小時NB偏大,節點規模較大時NB稍小；通過參數調優，選擇優化的參數組合。

3.根據權利要求1所述的方法，其特征在于，通過分析Panel分解各部分時間，統計出0號進程主要計算函數的時間，根據統計的結果分析，確定Panel分解浮點計算集中在BLAS函數。

4.根據權利要求1所述的方法，其特征在于，將Panel廣播流水優化與GPU加速Panel分解協同使用，包括以下步驟：

判斷subpanel列是否小于等于NBMIN，其中NBMIN是遞歸矩陣最小值；如果是，則進行非遞歸計算，如果否，則CPU傳輸數據到GPU，GPU執行DTRSM和DGEMM；判斷廣播的列數是否大于廣播流水閾值；如果是，則CPU廣播已分解的前一個subpanel，然后CPU與GPU同步，然后GPU傳輸數據到CPU；如果否，則CPU執行DTRSM和DGEMM。

5.根據權利要求1所述的方法，其特征在于，Panel廣播流水優化與GPU加速panel分解DGEMM協同使用，subpanel的數據廣播與Panel加速DGEMM過程中的CPU與GPU之間數據傳輸、GPU執行DGEMM計算并行，充分利用CPU、GPU、PCIe和網絡接口資源。

6.一種采用權利要求1～5中任一權利要求所述方法的適合復雜異構系統的HPL的Panel分解優化裝置，其特征在于，包括：

參數調優模塊，用于對與Panel分解計算有關的基本參數進行調優；

Panel加速分解模塊，用于利用調優后的基本參數，通過GPU加速Panel分解；

Panel廣播優化模塊，用于對Panel廣播進行優化，使得Panel數據廣播與Panel分解計算并行處理。