[發明專利]控制MapReduce任務調度的方法、裝置和系統

在審

• 申請號: 201410166552.X
• 申請日: 2014-04-24
• 公開（公告）號: CN105022666A
• 公開（公告）日: 2015-11-04
• 發明（設計）人: 丁圣勇;馮明;樊勇兵;賴培源;陳楠;陳天;秦潤鋒;劉藝;何曉武;李巧玲;黃志蘭
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 劉劍波

1.一種控制MapReduce任務調度的方法，其特征在于，包括：

當接收到監測裝置發送的節點失效信息時，從節點失效信息中提取出發生故障的失效節點標識，其中監測裝置實時監測與主控節點相關聯的任務節點狀態，在監測到任務節點從有效狀態轉換為失效狀態而成為失效節點后，在發送條件滿足時發送所述節點失效信息；

從有效節點集合中刪除所述失效節點標識，其中有效節點集合中包括的節點用于MapReduce任務調度；

將所述失效節點標識添加到失效節點集合中。

2.根據權利要求1所述的方法，其特征在于，

從有效節點集合中刪除所述失效節點標識的步驟包括：

判斷所述失效節點當前是否承載有任務；

若判斷所述失效節點當前沒有承載任務，則從有效節點集合中刪除所述失效節點標識。

3.根據權利要求2所述的方法，其特征在于，

若判斷所述失效節點當前承載有任務，則在有效節點集合中選擇一個節點作為替代節點；

由所述替代節點承載所述任務；

然后執行從有效節點集合中刪除所述失效節點標識的步驟。

4.根據權利要求3所述的方法，其特征在于，

在有效節點集合中選擇一個節點作為替代節點的步驟包括：

在有效節點集合中，選擇負載最小的一個節點作為替代節點。

5.根據權利要求1所述的方法，其特征在于，還包括：

當接收到監測裝置發送的節點生效信息時，從節點生效信息中提取出故障恢復的有效節點標識，其中監測裝置在監測到任務節點從失效狀態轉換為有效狀態而成為有效節點后，在發送條件滿足時發送所述節點生效信息；

從失效節點集合中刪除所述有效節點標識；

將所述有效節點標識添加到有效節點集合中。

6.根據權利要求1所述的方法，其特征在于，還包括：

以預定的時間間隔向監測裝置周期性地發送查詢請求，以便監測裝置在接收到查詢請求時，確定所述發送條件獲得滿足。

7.一種控制MapReduce任務調度的主控節點，其特征在于，包括接收單元、提取單元、有效節點集合管理單元和無效節點集合管理單元，其中：

接收單元，用于接收監測裝置發送的節點失效信息，其中監測裝置實時監測與主控節點相關聯的任務節點狀態，在監測到任務節點從有效狀態轉換為失效狀態而成為失效節點后，在發送條件滿足時發送所述節點失效信息；

提取單元，用于當接收單元接收到監測裝置發送的節點失效信息時，從節點失效信息中提取出發生故障的失效節點標識；

有效節點集合管理單元，用于從有效節點集合中刪除所述失效節點標識，其中有效節點集合中包括的節點用于MapReduce任務調度；

無效節點集合管理單元，用于將所述失效節點標識添加到失效節點集合中。

8.根據權利要求7所述的主控節點，其特征在于，

有效節點集合管理單元具體判斷所述失效節點當前是否承載有任務；若判斷所述失效節點當前沒有承載任務，則從有效節點集合中刪除所述失效節點標識。

9.根據權利要求8所述的主控節點，其特征在于，

有效節點集合管理單元還用于在判斷所述失效節點當前承載有任務時，在有效節點集合中選擇一個節點作為替代節點；由所述替代節點承載所述任務；然后執行從有效節點集合中刪除所述失效節點標識的操作。

10.根據權利要求9所述的主控節點，其特征在于，

有效節點集合管理單元具體在有效節點集合中，選擇負載最小的一個節點作為替代節點。

11.根據權利要求7所述的主控節點，其特征在于，

提取單元還用于當接收單元接收到監測裝置發送的節點生效信息時，從節點生效信息中提取出故障恢復的有效節點標識，其中監測裝置在監測到任務節點從失效狀態轉換為有效狀態而成為有效節點后，在發送條件滿足時發送所述節點生效信息；

無效節點集合管理單元還用于從失效節點集合中刪除所述有效節點標識；

有效節點集合管理單元還用于將所述有效節點標識添加到有效節點集合中。