[發明專利]一種基于異構Hadoop集群的任務調度方法

有效

• 申請號: 201810168415.8
• 申請日: 2018-02-28
• 公開（公告）號: CN108469988B
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 吳奇石;王猛;侯愛琴;張曉陽;王永強
• 申請（專利權）人: 西北大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 李婷;周春霞

1.一種基于異構Hadoop集群的任務調度方法，其特征在于，包括以下步驟：

步驟1，Hadoop集群中每個NM節點獲取自身的實時性能信息，實時性能信息至少包括CPU空閑資源、CPU總資源、RAM空閑資源和RAM總資源；

步驟2，根據NM節點的實時性能信息，在Hadoop集群中選取CPU空閑資源和RAM空閑資源均不為零的多個NM節點，并在選取的CPU空閑資源和RAM空閑資源均不為零的多個NM節點中隨機選取一個NM節點作為待分配節點；

步驟3，在用戶提交的多個作業中，選擇與待分配節點相匹配的作業；

步驟3.1,計算多個作業中的每個作業與待分配節點的作業匹配度，其中，第j個作業與待分配節點的作業匹配度用表示，采用的公式如下：

其中，表示第j個作業的用戶指定優先級；表示第j個作業的動態優先級；表示第j個作業中數據本地性的值標記為最高的map任務的數量；表示第j個作業處理數據的大小；J_localmin表示所有作業中數據本地性的值標記為最高的map任務的數量的最小值，J_localmax表示所有作業中數據本地性的值標記為最高的map任務的數量的最大值；J_sizemin表示所有作業處理數據的最小值，J_sizemax表示所有作業處理數據的最大值；

步驟3.2,選取作業匹配度的最大值對應的作業作為與待分配節點相匹配的作業；

步驟4，計算步驟3中選擇出的與待分配節點相匹配的作業中的每個任務與待分配節點的任務匹配值，具體包括以下步驟：

步驟4.1，判斷待分配節點的CPU空閑資源和RAM空閑資源是否均大于步驟3中選擇出的與待分配節點相匹配的作業中的某個任務的CPU請求資源和RAM請求資源，若是，則該任務為滿足需求的任務，并執行步驟4.2，否則，該任務與待分配節點的任務匹配值為0；

步驟4.2，計算滿足需求的任務與待分配節點的任務匹配值，采用的公式如下：

MV_task＝a*T_c+b*T_m+c*T_l

其中，a,b,c是常量，且a+b+c＝1，0＝a,b,c＝1，T_l是任務的數據本地性的值，T_c是待分配節點的CPU空閑資源和任務的CPU請求資源的匹配程度，T_m是待分配節點的RAM空閑資源和任務的CPU請求資源的匹配程度；

步驟5，在步驟4計算得到的任務匹配值中的最大值對應的任務分配給待分配節點，并將該任務標記為已分配，將其由作業中去除，不再對其分配NM節點；返回步驟1，直至所有作業中的所有任務均分配給相應NM節點執行。

2.如權利要求1所述的基于異構Hadoop集群的任務調度方法，其特征在于，所述步驟3.1中的第j個作業的動態優先級采用如下公式計算：

其中，J_aj代表第j個作業中所有的map任務數量,J_cj代表第j個作業中已經完成的map任務的數量。

3.如權利要求1所述的基于異構Hadoop集群的任務調度方法，其特征在于，所述步驟3.1中的第j個作業中數據本地性值標記為最高的map任務的數量的獲取方法如下：

NM節點的實時性能信息通過Heartbeat發送給RM節點，RM節點根據獲取的NM節點的實時性能信息，判斷第j個作業中map任務的數據是否存儲在待分配節點上，如果是，則將該map任務的數據本地性的值標記為最高值A，否則，將判斷該map任務是否與待分配節點在同一個機架上，如果是，則將該map任務標記為次高值B,否則，將該map任務標記為最小值C。

4.如權利要求1所述的基于異構Hadoop集群的任務調度方法，其特征在于，所述4.2中的待分配節點的CPU空閑資源和任務的CPU請求資源的匹配程度T_c，采用如下公式計算：

其中，Host.rc表示待分配節點的CPU空閑資源，task.rqc表示任務的CPU請求資源，Host.ac表示待分配節點的CPU總資源。

5.如權利要求1所述的基于異構Hadoop集群的任務調度方法，其特征在于，所述步驟4.2中的待分配節點的RAM空閑資源和任務的CPU請求資源的匹配程度T_m，采用如下公式計算：

其中，Host.rm表示待分配節點的RAM空閑資源，task.rqm表示任務的RAM請求資源，Host.am表示待分配節點的RAM總資源。