[發明專利]一種于Hadoop平臺中動態調整任務數目的方法及系統

有效

• 申請號: 201310700010.1
• 申請日: 2013-12-18
• 公開（公告）號: CN103699433B
• 公開（公告）日: 2017-07-14
• 發明（設計）人: 康凱;趙霞;宋瑩;孫毓忠
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/50
• 代理公司: 北京律誠同業知識產權代理有限公司11006
• 代理人: 祁建國,田景宜

1.一種于Hadoop平臺中動態調整任務數目的方法，其特征在于，包括：

步驟10，持續獲取節點中運行的每個任務的執行速率；

步驟20，計算執行速率在下降的任務的個數；

步驟30，根據該個數判斷是否需要調整節點中所運行的任務的數目；

該步驟30進一步包括：

判斷TER_Changed_Num≥Curr_Slots_Num×ThresHold是否為真，如果是，減少該節點中運行的任務的數目，如果否，增加該節點中運行的任務的數目；

其中，TER_Changed_Num為執行速率在下降的任務的個數，Curr_Slots_Num為節點中當前運行的任務數，ThresHold為一閾值。

2.如權利要求1所述的方法，其特征在于，步驟10之前還包括：

步驟1，獲取集群中每個節點的處理能力；

步驟2，獲取每個節點的處理資源的使用率。

3.如權利要求2所述的方法，其特征在于，還包括：

該獲取集群中每個節點的處理能力的步驟進一步包括：讀取每個節點上的CPU核數；和/或

該獲取每個節點的處理資源的使用率的步驟進一步包括：每隔固定時間間隔讀取每個節點的CPU使用率以及內存使用率。

4.如權利要求1所述的方法，其特征在于，該步驟10進一步包括：

在節點的每個任務的執行過程中，以固定時間間隔持續獲取該任務的當前執行進度，據以計算各時間點的執行速率。

5.如權利要求4所述的方法，其特征在于：

TER＝(TaskProgress_New-TaskProgress_Old)/IntervalTime

其中，TaskProgress_New為當前任務執行進度，TaskProgress_Old為前次任務執行進度，TER為執行速率，IntervalTime為固定時間間隔。

6.如權利要求4所述的方法，其特征在于，該步驟20進一步包括：

針對每個任務依次判斷：該任務的本次執行速率是否小于該任務的前次執行速率；

如果是，該任務視為執行速率在下降，該個數增加1。

7.如權利要求1所述的方法，其特征在于，該減少該節點中運行的任務的數目的步驟進一步包括：

判斷節點中的當前任務數目，如果大于1且已有任務執行結束，減少節點中運行的空閑任務的數目，其余情況返回。

8.如權利要求1所述的方法，其特征在于，該增加該節點中運行的任務的數目的步驟進一步包括：

判斷節點中的當前任務數目是否等于節點所配置的最大任務數目，如果是，進一步判斷節點的剩余處理資源是否大于新增任務所需的最低處理資源閾值，如果是，在節點中增加運行至少一空閑任務；其余情況返回。

9.一種Hadoop平臺中動態調整任務數目的系統，其特征在于，包括：

執行速率獲取裝置，持續獲取節點中運行的每個任務的執行速率；

個數計算裝置，計算執行速率在下降的任務的個數；

調整判斷裝置，根據該個數判斷是否需要調整節點中所運行的任務的數目；

該調整判斷裝置進一步包括：

判斷TER_Changed_Num≥Curr_Slots_Num×ThresHold是否為真的單元，如果是，調用減少該節點中運行的任務的數目的單元，如果否，調用增加該節點中運行的任務的數目的單元；其中，TER_Changed_Num為執行速率在下降的任務的個數，Curr_Slots_Num為節點中當前運行的任務數，ThresHold為一閾值。

10.如權利要求9所述的系統，其特征在于，還包括：

處理能力獲取裝置，獲取集群中每個節點的處理能力；

處理資源獲取裝置，獲取每個節點的處理資源的使用率。

11.如權利要求10所述的系統，其特征在于，還包括：

該處理能力獲取裝置進一步包括：讀取每個節點上的CPU核數的單元；和/或

該處理資源獲取裝置進一步包括：每隔固定時間間隔讀取每個節點的CPU使用率以及內存使用率的單元。