[發明專利]基于離散粒子群的Storm集群負載均衡方法及系統

有效

• 申請號: 202010550161.3
• 申請日: 2020-06-16
• 公開（公告）號: CN111858029B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 張江龍;陳是同;吳小華;李宏發;蔡力軍;陶俊;高揚;浦正國;毛舒樂;張天奇;趙云龍;吳金淦;林勝
• 申請（專利權）人: 國網福建省電力有限公司信息通信分公司;國網福建省電力有限公司;安徽繼遠軟件有限公司;國網信息通信產業集團有限公司;國家電網有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/006
• 代理公司: 合肥維可專利代理事務所(普通合伙) 34135
• 代理人: 吳明華

本發明公開了基于離散粒子群的Storm集群負載均衡方法及系統，包括：獲取工作節點個數s和待分配的任務個數t；初始化粒子群；獲取初代每個粒子的Pbest和粒子群的Gbest；更新每個任務分配方法；更新迭代更新后的每個粒子的Pbest和粒子群的Gbest；直到迭代次數達到預設的最大迭代次數，獲得全局歷史最佳任務分配方法Gbest；根據全局歷史最佳任務分配方法Gbest運行Storm集群；本發明采用粒子群算法來進行Storm集群調度的策略能夠提升Storm集群的性能利用率，不會出現某一個工作節點的CPU滿載而另一個工作節點空載的情況。

技術領域

本發明涉及大數據實時處理領域，具體涉及基于離散粒子群的Storm集群負載均衡方法及系統。

背景技術

在客戶端提交Topology任務后，Storm集群的控制節點Nimbus接收Topology任務，Nimbus基于接收到的Topology任務，計算需要處理的運行時實例task數量，根據當前Storm集群中含有的worker節點數量，采用輪詢調度(Round?Robin?scheduling)算法，將用戶提交的拓撲中包含的運行時實例task均勻分配到各工作節點worker上，由于分配過程中，總是會從第一個工作節點詢問，從而使得第一個工作節點的負載壓力越來越大，使得該工作節點相比于其他節點的負載壓力比其他的大很多，導致Storm集群中各個工作節點worker的負載不同，且輪詢調度算法不考慮不同節點的性能差異，致使節點資源利用率不高，另外，默認調度對于節點資源更關注CPU資源,而忽略、內存占用率、計算機帶寬的占用以及性能感知率等其他類型的資源,如此可能會造成工作節點內存不足、網絡堵塞等問題。當Storm集群的負載無法實現均衡的時候，會出現計算機在一定時間范圍內不同的工作節點的工作狀態不同，且無法充分利用Storm集群的性能，長期處在高壓的工作節點的使用年限會降低，易發生故障。處在低壓的工作節點性能利用率低，對Storm集群的效率影響較大。

發明內容

針對上述現有技術存在的問題，本發明提供了基于離散粒子群的Storm集群負載均衡策略方法，包括如下步驟：

(11)獲取運行狀態的Storm集群的工作節點個數s和待分配的任務個數t；

(12)初始化粒子群，獲得每個任務分配到工作節點位置的多個不同任務分配方法；

(13)將粒子群中每個任務分配方法作為自身歷史最佳任務分配方法Pbest，并計算各任務分配方法的適應度值,從粒子群中選擇適應度值最小的任務分配方法作為全局歷史最佳任務分配方法Gbest；

(14)根據預設的迭代公式更新每個任務分配方法；

(15)計算每個任務分配方法更新后的適應度值,比較每個任務分配方法更新前后的適應度值,將適應度值小的任務分配方法賦值給Pbest,從賦值后的多個Pbest中選擇適應度值最小的任務分配方法賦值給Gbest；

(16)重復執行步驟(14)至(15),直到所述迭代公式中的迭代次數達到預設的最大迭代次數，獲得全局歷史最佳任務分配方法Gbest；

(17)根據全局歷史最佳任務分配方法Gbest運行Storm集群；

所述步驟(13)和(15)中，適應度值的計算方法為：

(21)根據任務分配方法運行Storm集群，獲取Storm集群的每個工作節點的多種性能指標；

(22)采用Storm集群所有工作節點的負載量離散程度F衡量負載均衡程度：

其中k表示工作節點的性能指標的種類數，F值越小負載均衡程度越大；

(23)以離散程度F作為離散粒子群的適應度函數。