[發明專利]一種基于網絡流量優化的Storm任務調度方法

有效

• 申請號: 201810092610.7
• 申請日: 2018-01-31
• 公開（公告）號: CN108415761B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 谷建華;周興社;周健華;閆旭濤
• 申請（專利權）人: 西北工業大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 金鳳

本發明提供了一種基于網絡流量優化的Storm任務調度方法，涉及數據交換網絡領域，通過進程間流量統計，根據通信關系矩陣，采用遺傳算法進行網絡k劃分，并在機器內Worker進程間流量優化，根據機器和進程的對應表和進程和線程對應表，通過Storm命令rebalance來觸發實施任務分配，本發明減少了節點間的流量，提高了現有資源的使用效率，減少了很多不必要的流量傳輸，降低了系統的延遲、提高了吞吐量；彌補了Storm任務調度中對任務間流量信息考慮不足的問題，優化了系統內機器間和機器內進程間流量不均衡的問題，使得導致系統延遲降低、吞吐量得到提高。

技術領域

本發明涉及數據交換網絡領域，尤其是一種Storm任務調度方法。

背景技術

隨著計算機的發展，傳感器數據、金融數據、在線交易數據等實時流數據不斷增多。數據種類多且體量大、源源不斷、時性強。這些實時數據產生速度快、消失快，有效時間短。當前實時數據蘊含著豐富的價值，實時數據的高效處理保證了交易的快速處理和信息的實時獲取。當前業界推出了Storm、Spark等分布式實時流數據處理框架。Storm是個分布式、可擴展、容錯的實時流處理系統。Storm的這些特點使得它在業界得到了廣泛使用。但是Storm仍在不斷的發展和完善中，仍有許多需要改進的方面。

Storm是個分布式的系統，任務分配到不同的機器和機器中的多個進程。相同的硬件情況下，不合理的任務分配方式將嚴重影響系統的效率。Storm的實時性要求很高，不同的調度算法將導致網絡流量在系統內不同的流動方式，不合理的流動將導致傳輸和處理延遲，進而對Storm的性能產生影響。任務調度算法的差異，在系統資源相同的情況將影響著系統的性能。

現在Storm中默認的調度算法采用輪詢的方式，將拓撲的任務輪詢的方式均勻的放置到空閑的slot中，在調度時沒有考慮到任務間的網絡通信開銷對系統性能的影響，可能造成機器間通信量大、通信延遲高，降低了系統性能，特別是實時流處理系統的數據量大，網絡開銷將嚴重影響系統的實時性。

發明內容

為了克服現有技術的不足，針對Storm現有的調度方法沒有考慮到任務間的通信開銷，導致系統數據流量不均衡、節點間流量大、延遲高和吞吐量下降的問題，本發明提供一種基于網絡流量優化的Storm任務調度方法，通過在任務運行時監控進程的流量，對進程間流量關系分析，給出優化的調度方案，在盡量不改變現有的Worker進程數量和線程任務數量的情況下進行，通信流量優化。

本發明解決其技術問題所采用的技術方案是的步驟如下：

步驟1：進程間流量統計

通過tcpdump命令采用抓包的方式統計進程間發送的信息，統計運行時Storm各個Worker進程間的數據傳輸速率，即可得到通信關系矩陣；

在n個進程中，進程d_i和進程d_j間的數據傳輸速率為進程d_i到d_j和d_j到d_i的通信速率之和，其中，1≤i≤n，1≤j≤n，通信關系矩陣W中的i行j列的W_ij表示進程d_i和進程d_j間的數據傳輸速率，將n個進程間的數據傳輸速率進行匯總得到通信關系矩陣W，通信關系矩陣如下所示：

步驟2：根據Worker進程間的通信關系矩陣，將n個進程劃分到k個機器上，本發明采用遺傳算法進行網絡k劃分，所述遺傳算法的步驟包括編碼表示、定義適應度、選擇操作、雜交操作和變異操作；