[發明專利]基于能耗感知的Storm大數據節能調度方法

有效

• 申請號: 201811430695.1
• 申請日: 2018-11-28
• 公開（公告）號: CN109614210B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 李鴻健;付豪;熊安萍;蔣溢
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/23;G06F16/27
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

本發明涉及大數據處理領域和能耗領域，特別涉及基于能耗感知的Storm大數據節能調度方法，包括構建改進的基于Storm計算框架的大數據計算能耗模型，并建立任務與計算資源的能耗優先順序表；提交任務后判斷在能耗模型的數據庫中是否有該任務相關信息，若有則按照數據庫中的能耗優先級為低能耗的進程分配任務；否則將該任務分配到集群中各個節點的各個上；監控每個進程上的能耗信息并寫入能耗模型的數據庫，根據能耗模型評判該任務的優先級，并更新優先級列表，重新提交該任務；本發明的調度策略算法能夠提高大數據程序的運行能效，同時滿足服務等級協議并可通過提高數據中心大數據計算的能效將會顯著地降低整個數據中心的成本。

技術領域

本發明涉及大數據處理領域和能耗領域，特別涉及基于能耗感知的Storm大數據節能調度方法。

背景技術

當今社會是一個高速發展的社會，科技發達，信息利通，人們之間的交流越來越密切，生活也越來越方便，大數據就是這個高科技時代的產物。大數據的應用也在越來越彰顯他的優勢，它占領的領域也越來越大，電子商務、O2O、物流配送等，各種利用大數據進行發展的領域正在協助企業不斷地發展新業務，創新運營模式。有了大數據這個概念，對于消費者行為的判斷，產品銷售量的預測，精確的營銷范圍以及存貨的補給已經得到全面的改善與優化。大數據首先帶來的難題是能耗。在全球大數據的背景下，如何降低處理大數據的能耗就顯得尤為重要。為了在大數據環境下實現綠色數據流計算，了解大數據環境中的總能耗是非常重要的。我們需要了解如何最大限度地減少數據中心的能源消耗，以及解決大多數現有研究中的高能耗和響應時間長的問題。這證明了為大數據流計算環境能耗建模，優化資源調度和優化框架的重要性，從而能最大限度地降低能耗，在大數據流式計算中實現低能耗的目標。

Storm是一個分布式的，容錯的實時計算系統，如圖1所示。Storm也可以處理大批量的數據，但是Storm在保證高可靠性的前提下還可以讓處理進行的更加實時，所有的信息都會快速被處理或輸出。Storm具備容錯和分布計算這些特性，這就讓Storm可以擴展到不同的機器上進行大批量的數據處理。Storm還有以下特性：易于擴展，只需要添加機器和改變對應的topology拓撲設置。Storm使用Zookeeper進行集群協調，這樣可以充分的保證大型集群的良好運行；強健壯性，storm集群非常容易管理，輪流重啟節點不影響應用；高容錯，一旦topology遞交，Storm會一直運行它直到topology被dectivate或者被kill。而在執行中出現錯誤時，也會由Storm重新分配任務，可以保證每個數據流作業被完全執行；語言無關性，盡管通常使用Java，但是Storm中的topology可以用任何語言設計；可調試的本地模式，Storm有一個“本地模式”，可以在處理過程中完全模擬Storm集群，可以快速進行開發和單元測試；編程模型簡單，只需編寫Spout和solt部分的實現，因此極大地降低了實時大數據流式計算的復雜性。

Storm實時計算能力源于其強大的并行調度機制及調度策略，實現中系統默認任務調度器使用輪詢調度的策略，首先是計算集群中可供分配的slot資源，并判斷當前已分配給運行topology的slot是否需要重新分配，然后對可分配的slot進行排序。計算topology的executor信息，最后將資源平均地分配給topology。Storm中運行的實時應用程序都對應一個topology，即各個組件間的消息流動形成了邏輯上的一個拓撲結構。現階段主要需要解決的問題是如何提高計算能效和降低數據中心成本。

發明內容

針對以上storm系統默認調度算法沒有考慮能耗的不足，本發明的目的在于提供一種基于能耗感知的Storm節能調度算法，使得總任務槽(slot)分配任務能耗的總和最小，包括構建改進的基于Storm計算框架的大數據計算能耗模型，并建立任務與計算資源的能耗優先順序表，提交topology任務，提交任務之后包括以下步驟：

S1、判斷在能耗模型的數據庫中是否有該topology任務的能耗信息，若有則按照數據庫中worker的能耗優先級為低能耗的worker進程分配任務；