[發明專利]基于能耗感知的Storm大數據節能調度方法

有效

• 申請號: 201811430695.1
• 申請日: 2018-11-28
• 公開（公告）號: CN109614210B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 李鴻健;付豪;熊安萍;蔣溢
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/23;G06F16/27
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

1.基于能耗感知的Storm大數據節能調度方法，包括構建改進的基于Storm計算框架的大數據計算能耗模型，構建基于Storm計算框架的大數據計算能耗模型包括：

Ter^ec＝min(∑_0≤i＜I∑_0≤j＜Jw_ij)；

其中，Ter^ec表示提交的任務能耗最小總和，I表示storm集群中node節點的總數量，J表示單個node節點上的worker進程數量總和，w_ij則表示節點i上的第j個worker進程的能耗和，表示為：

其中，表示第i個node節點上的第j個worker上的第p個excutor線程的能耗，表示為表示上第l個任務；E為線程的總數量；

建立任務與計算資源的能耗優先順序表，提交topology任務，其特征在于，在提交topology任務后，監控每個worker上的task的cpu和內存的使用情況，對于任意的worker進程的能耗優先級進行評判，評判標準為：

其中，在節點i上的第j個worker上的第k個task定義為e^k表示task任務k的能耗，t^k表示task任務k的執行時間，nwt_ij表示在節點i上的第j個進程上的task總數量，那么就有節點i上第j個worker的單位能耗為wva，評價worker進程的能耗優先級將依據wva，wva值越低則將具有更高的優先級，反之亦然；再次提交相同任務的時候，將從數據庫中讀取優先級順序表，優先把任務放置在優先級高的worker進程上執行；

之后包括以下步驟：

S1、判斷在能耗模型的數據庫中是否有該topology任務的能耗信息，若有則按照數據庫中worker的能耗優先級為低能耗的worker進程分配任務；

S2、否則將該topology任務分配到集群中各個節點的各個worker上；

S3、監控每個worker進程上的能耗信息并寫入能耗模型的數據庫；

S3、根據能耗模型評判該任務的優先級，并更新優先級列表，重新提交該topology任務并返回步驟S1。

2.根據權利要求1所述的基于能耗感知的Storm大數據節能調度方法，其特征在于，步驟1中改進的基于Storm計算框架包括Storm調度器、主節點、從節點和能耗模型數據庫，每個從節點包括多個worker進程和一個監控模塊，監控模塊用于監控從節點能耗信息，并將數據信息寫入能耗模型數據庫，能耗模型數據庫將該數據信息調度給Storm調度器，Storm調度器根據能耗模型數據庫中任務的優先級直接或間接控制主節點、從節點完成任務。

3.根據權利要求2所述的基于能耗感知的Storm大數據節能調度方法，其特征在于，Storm調度器包括backtype.storm.scheduler.DefaultScheduler調度器和DirectScheduler調度器。