[發明專利]一種基于節點計算能力的分布式數據負載均衡方法和系統

在審

• 申請號: 201711210991.6
• 申請日: 2017-11-24
• 公開（公告）號: CN107707680A
• 公開（公告）日: 2018-02-16
• 發明（設計）人: 邵文龍;席小丁;何春濤
• 申請（專利權）人: 北京永洪商智科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及分布式存儲和分布式計算技術領域，尤其涉及一種基于節點計算能力的分布式數據負載均衡方法和系統。

背景技術

目前，常見的分布式數據均衡方式包括基于部署結構(如Hadoop系統中基于rack的均衡方式)進行數據均衡，基于磁盤存儲容量進行數據均衡的方式，以及基于使用頻度的進行數據均衡的方式。

基于部署結構和磁盤存儲容量的數據均衡方式，其主要目標是讓數據在物理介質上分布更加均勻。兩種方式好壞的評價指標是各個分布式節點上數據量的差異，例如采用數據文件存儲大小的均值方差作為評價指標。但這兩種均衡方式的一個明顯缺陷是不能準確反映計算狀況，比如分布在各個節點的一組數據文件，代表了不同年月或者不同區域的數據，在使用頻度上存在明顯差異，如果僅僅按照上述方式做數據均衡，會導致計算處理時的數據傾斜。為解決這個問題，后來出現了以下改進方案，即基于數據使用頻度進行數據均衡分布。不過這種方案也存在一定的局限性，沒有考慮不同節點的計算處理能力，容易在計算能力弱的存儲節點上出現性能瓶頸。另外，隨著越來越多的分布式數據處理產品面向實時計算，基于節點計算能力的數據均衡分布顯得尤為重要。但由于計算能力和計算類型相關性較高，要做到計算能力的準確評估有一定難度。因此，有必要提供一種數據負載均衡方法，解決現有技術中沒有充分考慮節點計算能力，使得數據的分布和節點的真實處理能力不匹配的問題。

發明內容

鑒于上述的分析，本發明旨在提供一種基于節點計算能力的分布式數據負載均衡方法和系統，用以解決現有分布式計算處理過程中，因在某個節點上因為數據分布不均衡而導致節點出現性能瓶頸的問題。

本發明的目的主要是通過以下技術方案實現的：

提供一種基于節點計算能力的分布式數據負載均衡方法，包括步驟：

S1.獲取各存儲節點的計算能力參數；

S2.基于獲取到的計算能力參數，進一步計算各存儲節點的實際處理能力；

S3.按照實際處理能力對數據進行均衡分布。

其中，所述獲取計算能力參數包括獲取各個存儲節點的靜態參數和動態參數的步驟。

所述靜態參數采用打分的形式進行表示，在靜態參數有多個時，根據靜態參數的類型賦予不同類型靜態參數一個權重，通過加權計算，獲得存儲節點的靜態處理能力的表征分數值。

所述動態參數是通過基準性能測試得出。

所述實際處理能力的計算方法為：將靜態參數和動態參數進行加權。

所述按照實際處理能力對數據進行均衡分布具體是基于實際處理能力的比值關系。

進一步的，步驟S3包括：

根據各存儲節點的實際處理能力，按實際處理能力的比值估算各個存儲節點的目標數；

計算每一個存儲節點的balance因數；

根據balance因數，進行存儲節點之間數據文件的初步移動；

完成初步移動后，重新計算各個存儲節點的balance因數，并根據balance因數進行存儲節點之間的數據文件移動；

重復進行上述balance因數計算和數據移動，當滿足終止條件時，則終止數據移動，部署內各存儲節點實現了均衡分布。

優選的，所述終止條件是：∑(Bi)/N＜K，其中，N為節點總數，i表示存儲節點，K為可配置的常量，B為balance因數。

本發明還提供一種采用上述分布式數據負載均衡方法實現數據負載均衡的系統，包括：數據源、文件分發器、至少一個存儲節點、信息收集器、規則引擎。

其中，數據源提供需要存儲的數據。

文件分發器，用于按照從規則引擎中獲得的數據移動策略，將數據文件分發到各存儲節點。

數據存儲節點存儲數據文件，并將存儲節點的處理參數反饋給信息收集器。

信息收集器接受存儲節點反饋的參數信息，并轉發給規則引擎。

規則引擎根據所述分布式數據負載均衡方法，確定數據移動策略并發送給文件分發器。

所述數據移動策略包括了確定進行數據移動的存儲節點和數據移動量。

本發明有益效果如下：

本方法和系統通過引入動態參數和balance因數，使得集群能依據存儲節點自身的處理能力，實現集群內節點數據的自動均衡，數據分布能夠和節點處理能力相匹配，從而提高了集群整體的運算處理能力，讓各節點的處理能力能得到對應發揮，并進一步實現了對集群內部的節點的性能監控，根據節點的性能變化對應做出數據分布調整，提高了集群整體的性能和應變能力。