[發明專利]一種基于布谷鳥搜索的storm動態負載均衡方法

有效

• 申請號: 201811636906.7
• 申請日: 2018-12-29
• 公開（公告）號: CN109617826B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 龍笑;周良;鄭洪源
• 申請（專利權）人: 南京航空航天大學
• 主分類號: H04L47/125
• 分類號: H04L47/125;H04L47/10;H04L67/1008;H04L67/1042
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 王路

本發明涉及一種基于布谷鳥搜索算法的storm集群動態負載均衡方法，首先根據實時檢測到的節點信息計算節點負載，然后根據負載信息為集群的節點賦予性能權值，通過布谷鳥搜索算法的尋優過程動態調整權值，最后計算出節點上任務的分配權重，根據權重分配任務，從而完成集群的動態負載均衡。本發明兼顧了集群的CPU、內存、網絡等資源的實時利用情況，并實現了集群節點性能權重向量的尋優過程，完成任務的動態分配；通過對布谷鳥搜索中步長因子的自適應調整使得尋優過程能更快速的找到全局最優的權重向量，可以實現資源的合理分配，從而減小集群響應時間，具有更高的集群吞吐量和更小的系統延遲。

技術領域

本發明屬于大數據實時處理領域，具體涉及一種基于布谷鳥搜索算法的storm動態負載均衡方法。

背景技術

隨著物聯網和社交網絡的快速發展，流數據的規模不斷增長，流處理在交通監測、氣象觀測和銀行交易管理等領域都有著廣泛的應用。以無人機貨運實時流數據為例，其產生的流數據具有到達速度快、到達時間持續和動態改變等特點，傳統地大數據批處理框架已無法滿足實時性的需求。Storm分布式實時計算系統作為流式計算的典型代表以其低延遲、高性能、分布式、可擴展、高容錯等特性，在海量數據實時處理中得到廣泛應用。

在數據處理對實時性和高效性要求越來越高的情況下，集群中節點的管理與資源的分配在集群管理中占據著越來越重要的地位，負載均衡技術是保證Storm實時計算應用高性能和高吞吐量的有效手段。Storm實時計算應用通常是計算密集型應用，負載均衡對Storm實時計算應用的執行性能起著決定性的作用。

然而Storm默認調度在負載均衡方面的表現卻無法令人滿意，存在著較多的問題，致使一些對于實時性和高效性要求高的系統無法及時的處理數據。第一，storm平臺采用默認的任務調度采用的是輪詢調度(Round Robin scheduling)算法，即將用戶提交的拓撲中包含的任務均勻分配到各工作進程中，再將各工作進程均勻分配到各工作節點上，由于其未考慮到不同節點的性能和負載差異，致使節點資源利用率不高。第二，storm集群中節點會經常動態的增加或刪除，worker進程也會動態的增加或刪除，從而導致集群計算資源的變化，而在集群節點或進程動態增刪后，storm無法根據改變后的可用資源做出有效調整策略，影響負載的均衡。第三，默認調度對于節點資源更關注CPU資源,而忽略內存、磁盤、網絡等其他類型的資源,如此可能會造成工作節點內存不足、網絡堵塞等問題。綜上所述，為滿足實時性和高效性更高系統的需求，需要提出一種新的方法來保證storm調度的負載均衡，新的方法可以使得集群的響應時間更快、吞吐量更高、系統延遲更低。

發明內容

發明目的：為解決上述技術問題，為下一步流數據的實時存儲打好基礎，本發明提供了一種基于布谷鳥搜索算法的storm動態負載均衡方法。

技術方案：

本發明是一種基于布谷鳥搜索算法的storm集群動態負載均衡方法，該方法包括如下步驟：

步驟一：獲取集群節點負載信息，包括節點性能向量以及節點上任務的完成率，初始化相關參數，包括宿主鳥巢的數目即需要分配的任務數量，鳥蛋被發現的概率即迭代產生解的淘汰概率，全局最大迭代次數，步長初值，適應度閾值；

步驟二：判斷是否達到迭代停止條件，即達到最大迭代次數Max或適應度閾值大于步驟一中設定的閾值，若達到停止條件則停止迭代，否則繼續；

步驟三：通過節點性能向量和性能權重向量α計算集群節點的負載向量，計算節點上任務的分配權重和適應度函數值；

步驟四：判斷本次迭代適應度函數值是否更優，即函數值值更小，若更優則進行下一步，否則保留上次求得的節點性能權重向量；

步驟五：根據當前節點性能權重向量與初始距離的平均值與步長初值的乘積計算布谷鳥搜索算法的步長因子，根據節點性能權重向量更新公式計算新的節點性能權重向量；