[發明專利]一種高效動態負載均衡的處理大規模數據的系統及方法

在審

• 申請號: 201510037687.0
• 申請日: 2015-01-26
• 公開（公告）號: CN104580503A
• 公開（公告）日: 2015-04-29
• 發明（設計）人: 高永虎;張清;張廣勇;沈鉑
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發明涉及一種處理大規模數據技術領域，具體地說是一種高效動態負載均衡的處理大規模數據的系統及方法。

背景技術

當前社會人類的數據大爆炸，信息數據越來越多，人們對信息數據的處理能力的要求也越來越高，不僅石油勘探、氣象預報、航天國防、科學研究等需求高性能計算，金融、政府信息化、教育、企業、網絡游戲等更廣泛的領域對高性能計算的需求迅猛增長。

計算速度對于高性能計算尤為重要，高性能計算向多核、眾核發展，采用異構并行提升應用計算速度，目前CPU+GPU是非常成熟的異構協同計算模式，適合高度并行計算的應用或算法。但是由于一些應用運算數據規模一直比較大，受限于網絡帶寬，系統內存等原因在單臺服務器中添加硬件設備的方式，已經無法滿足當前的需求，需要進一步設計一種根據現有有限的硬件設備下能夠處理大規模數據的方法。

發明內容

本發明的技術任務是提供一種高效動態負載均衡的處理大規模數據的系統及方法；實現動態負載均衡的CPU+GPU混合異構集群系統，充分利用設備的性能，以實現整個系統效率大幅提升，并解決當前服務器計算系統網絡帶寬不足、內存容量小等情況，而無法對較大規模數據進行處理的問題。

本發明的技術任務是按以下方式實現的，

一種高效動態負載均衡的處理大規模數據的系統，為CPU與GPU混合異構集群系統，包括中央控制系統、計算集群系統、存儲系統、高速網絡；中央控制系統中節點采用CPU與GPU混合異構架構；計算集群系統中節點采用CPU與GPU混合異構架構或采用CPU架構；存儲系統分共享存儲和本地存儲，共享存儲中節點采用CPU架構，本地存儲設置在中央控制系統的節點以及計算集群系統的每個節點中，共享存儲分為主存儲和備份存儲，主存儲和備份存儲作為冗余存儲、存儲相同的計算數據，本地存儲用于存儲所在的中央控制系統的節點或者是計算集群系統的節點的數據；高速網絡用于將中央控制系統中節點、計算集群系統中節點、共享存儲中節點互相連接，組成集中式的處理大規模數據的系統。

一種高效動態負載均衡的處理大規模數據的系統，中央控制系統中節點控制計算集群系統中節點、存儲系統中節點。

一種高效動態負載均衡的處理大規模數據的系統，中央控制系統中節點設置有1個，共享存儲中節點設置有至少1個，計算集群系統中節點設置有至少2個。

一種高效動態負載均衡的處理大規模數據的方法，采用上述中任意一種處理大規模數據的系統，對大規模數據進行處理，包括如下步驟：

（1）、中央控制系統中節點通過高速網絡與所有計算集群系統中節點相互連接，中央控制系統中節點控制各個計算集群系統中節點，中央控制系統中節點動態的分配計算任務給計算集群系統中節點，中央控制系統中節點接收計算集群系統中節點的返回結果；

（2）、計算集群系統中節點與共享存儲中節點通過高速網絡互連，中央控制系統中節點與共享存儲中節點通過高速網絡互連；共享存儲中節點根據中央控制系統中節點的命令向計算集群系統中節點發送計算任務數據；

（3）、計算集群系統中節點負責計算任務，計算集群系統中節點內有多個同型號的GPU處理器進行計算；可以提高計算的并行度，提高單節點的計算能力，同時同型號的GPU易于計算任務的劃分；

（4）、中央控制系統的節點或者是計算集群系統的節點內的本地存儲，用于緩存本地所必要的數據；

（5）、共享存儲中節點存儲計算集群系統中節點所需要的計算數據和計算結果數據，通過高速網絡向計算集群系統中節點發送計算數據；同時共享存儲中節點采用主存儲和備份存儲的存儲方式，保證了數據的安全性。

一種高效動態負載均衡的處理大規模數據的方法，中央控制系統中節點收集所有計算集群系統中節點的計算能力信息，中央控制系統中節點將計算數據動態的劃分，并命令共享存儲中節點將計算數據發送給選中的計算集群系統中節點；共享存儲中節點根據中央控制系統中節點的命令首先將計算數據以數據塊為單位進行劃分，然后將不同數量的數據塊動態的發送給對應的計算集群系統中節點；計算集群系統中節點接收共享存儲中節點發送來的計算數據，并將計算結果數據傳輸給中央控制系統中節點，中央控制系統中節點將接收到的計算結果統一處理后存儲到共享存儲中節點。

計算集群系統中節點在接收下一個數據塊的同時，計算當前的數據塊，同時發送上一個已經計算完成的數據塊。

一種高效動態負載均衡的處理大規模數據的方法，處理大規模數據的系統的工作流程為：