[發明專利]一種基于OPENCL的異構共同計算均衡方法

有效

• 申請號: 201510093877.4
• 申請日: 2015-03-02
• 公開（公告）號: CN104714850A
• 公開（公告）日: 2015-06-17
• 發明（設計）人: 邰從越
• 申請（專利權）人: 心醫國際數字醫療系統（大連）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/38
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳;張波濤

1.一種基于OPENCL的異構共同計算均衡方法，該方法應用于CPU+GPU混合異構共同計算系統中，

所述CPU+GPU混合異構共同計算系統劃分成三個并行層次：節點間并行、節點內CPU與GPU異構并行、設備內并行，所述設備是指CPU或GPU；CPU+GPU異構共同計算模式為：節點間分布式，節點內異構式，設備內共享式；所述節點間分布式是指節點間采用了分布式的計算方式，所述節點內異構式是指每個節點內部包含一個多核CPU、一個或多個GPU，節點內部采用主從式編程模型，即每個GPU需要由CPU進程或線程調用；所述設備內并行是指每個節點內的所有多核CPU采用了共享存儲模型，這些CPU核并行計算，GPU設備內有自己獨立的DRAM存儲，GPU設備也是共享存儲模型，在GPU上采用OpenCL編程控制GPU眾核的并行計算；在該系統中，由一個CPU進程/線程負責復雜邏輯和事務處理，其它CPU進程/線程負責小部分并行計算，GPU負責大部分并行計算；

在該方法中，節點內和節點間均采用MPI進程，設計負載均衡時，只需做到進程間或設備之間的負載均衡和CPU設備內OpenMP線程負載均衡、GPU設備內CUDA線程負載均衡即可；對于設備內，GPU設備上只要保證同一warp內的線程負載均衡即可；

在該方法中，采用動態負載均衡方式，即在任務執行過程中，根據各GPU的運行情況重新調整負載分配，動態分配任務；對計算任務進行劃分時按照輸入數據劃分，對于矩陣A×B＝C問題而言，按輸入數據劃分可以分解為

矩陣A與矩陣B分別按行與列劃分為若干數據塊，每個數據塊的計算為一個任務，每次傳輸矩陣A與矩陣B的一個數據塊至GPU，計算完成之后將數據傳回，然后分配下一個任務。

2.根據權利要求1所述的方法，其特征在于，優選的，對輸入數據劃分時，使任務塊的計算時間與其它GPU的一次數據傳輸的時間相等。

3.根據權利要求1或2所述的方法，其特征在于，對計算任務進行劃分時，以“按照輸出數據劃分”替代“按照輸入數據劃分”，讓不同的GPU做不同位置的結果計算，計算結果完全獨立，沒有依賴性，對于矩陣A×B＝C問題而言，按輸出數據劃分可以分解為

將矩陣C分塊，將不同塊的位置傳遞給各GPU，當GPU計算完當前塊之后可立即分配下一個任務，這樣可以做到負載均衡。

4.根據權利要求1-3中任一項所述的方法，其特征在于，采用輸入和輸出同時劃分的方式進行數據劃分。

5.根據權利要求1-4中任一項所述的方法，其特征在于，CPU+GPU混合異構共同計算系統采用主從式MPI通信機制，在節點0上多起一個進程作為主進程，控制其它所有進程。

6.根據權利要求1-5中任一項所述的方法，其特征在于，每個節點上啟動3個計算進程，其中兩個控制GPU設備，一個控制其余所有CPU核的并行。

7.根據權利要求1-6中任一項所述的方法，其特征在于，把節點內的所有多核CPU看作一個設備，采用MPI進程或OpenMP線程、pThread線程控制這些CPU核的并行計算。

8.根據權利要求1-7中任一項所述的方法，其特征在于，CPU+GPU混合異構共同計算系統中各個節點之間通過網絡進行連接，節點間采用了分布式的計算方式，采用MPI消息通信的并行編程語言。

9.根據權利要求1-8中任一項所述的方法，其特征在于，CPU+GPU混合異構共同計算系統中所述CPU只負責復雜邏輯和事務處理，GPU進行大規模并行計算。

10.根據權利要求1-9中任一項所述的方法，其特征在于，采用靜態負載均衡方式，即在任務執行之前，按各GPU的計算能力比例將任務均勻劃分到各GPU上。