[發明專利]一種高效動態負載均衡的處理大規模數據的系統及方法

在審

• 申請號: 201510037687.0
• 申請日: 2015-01-26
• 公開（公告）號: CN104580503A
• 公開（公告）日: 2015-04-29
• 發明（設計）人: 高永虎;張清;張廣勇;沈鉑
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種高效動態負載均衡的處理大規模數據的系統，其特征在于為CPU與GPU混合異構集群系統，包括中央控制系統、計算集群系統、存儲系統、高速網絡；中央控制系統中節點采用CPU與GPU混合異構架構；計算集群系統中節點采用CPU與GPU混合異構架構或采用CPU架構；存儲系統分共享存儲和本地存儲，共享存儲中節點采用CPU架構，本地存儲設置在中央控制系統的節點以及計算集群系統的每個節點中，共享存儲分為主存儲和備份存儲，主存儲和備份存儲作為冗余存儲、存儲相同的計算數據，本地存儲用于存儲所在的中央控制系統的節點或者是計算集群系統的節點的數據；高速網絡用于將中央控制系統中節點、計算集群系統中節點、共享存儲中節點互相連接，組成集中式的處理大規模數據的系統。

2.　根據權利要求1所述的一種高效動態負載均衡的處理大規模數據的系統，其特征在于中央控制系統中節點控制計算集群系統中節點、存儲系統中節點。

3.根據權利要求1所述的一種高效動態負載均衡的處理大規模數據的系統，其特征在于中央控制系統中節點設置有1個，共享存儲中節點設置有至少1個，計算集群系統中節點設置有至少2個。

4.一種高效動態負載均衡的處理大規模數據的方法，其特征在于采用權利要求1-3中任意一種處理大規模數據的系統，對大規模數據進行處理，包括如下步驟：

（1）、中央控制系統中節點通過高速網絡與所有計算集群系統中節點相互連接，中央控制系統中節點控制各個計算集群系統中節點，中央控制系統中節點動態的分配計算任務給計算集群系統中節點，中央控制系統中節點接收計算集群系統中節點的返回結果；

（2）、計算集群系統中節點與共享存儲中節點通過高速網絡互連，中央控制系統中節點與共享存儲中節點通過高速網絡互連；共享存儲中節點根據中央控制系統中節點的命令向計算集群系統中節點發送計算任務數據；

（3）、計算集群系統中節點負責計算任務，計算集群系統中節點內有多個同型號的GPU處理器進行計算；

（4）、中央控制系統的節點或者是計算集群系統的節點內的本地存儲，用于緩存本地所必要的數據；

（5）、共享存儲中節點存儲計算集群系統中節點所需要的計算數據和計算結果數據，通過高速網絡向計算集群系統中節點發送計算數據；同時共享存儲中節點采用主存儲和備份存儲的存儲方式。

5.根據權利要求4所述的一種高效動態負載均衡的處理大規模數據的方法，其特征在于中央控制系統中節點收集所有計算集群系統中節點的計算能力信息，中央控制系統中節點將計算數據動態的劃分，并命令共享存儲中節點將計算數據發送給選中的計算集群系統中節點；共享存儲中節點根據中央控制系統中節點的命令首先將計算數據以數據塊為單位進行劃分，然后將不同數量的數據塊動態的發送給對應的計算集群系統中節點；計算集群系統中節點接收共享存儲中節點發送來的計算數據，并將計算結果數據傳輸給中央控制系統中節點，中央控制系統中節點將接收到的計算結果統一處理后存儲到共享存儲中節點。

6.根據權利要求5所述的一種高效動態負載均衡的處理大規模數據的方法，其特征在于計算集群系統中節點在接收下一個數據塊的同時，計算當前的數據塊，同時發送上一個已經計算完成的數據塊。

7.根據權利要求4所述的一種高效動態負載均衡的處理大規模數據的方法，其特征在于處理大規模數據的系統的工作流程為：

①、中央控制系統中節點負責收集各個計算集群系統中節點的GPU卡的數量，根據各計算集群系統中節點不同的卡數量，生成各個計算集群系統中節點的計算能力信息，將此計算能力信息發送給共享存儲中節點；計算能力信息包括每個計算集群系統中節點GPU卡的數量，高速網絡的通信能力，GPU卡的計算能力；

②、共享存儲中節點根據中央控制系統中節點發送的計算能力信息，首先將數據分為合適的可發送的基本的數據塊，然后為各計算集群系統中節點分配對應數量的計算數據塊，再將數據塊動態的發送給計算集群系統中節點；

③、計算集群系統中節點接收數據進行計算同時，若傳輸數據的較快而計算未完成，可將計算數據暫存儲到本地存儲中，若沒有數據傳輸時，則從本地存儲中獲取，若本地也沒有則需等待；

④、計算集群系統中節點完成計算數據塊的同時即可將計算的結果發送給中央控制系統中節點，若傳輸繁忙則可先將數據暫存于本地存儲中，等待網絡空閑時再將其發送給中央控制系統中節點；

⑤、中央控制系統中節點將接收到的各個計算集群系統中節點的計算結果，進行必要的處理操作，然后發送給共享存儲中節點，在計算期間中央控制系統中節點定時的收集計算集群系統中節點的必要的信息緩存到本地存儲并存儲到共享存儲中節點。