[發明專利]一種任務中斷恢復方法和設備

有效

• 申請號: 201110345030.2
• 申請日: 2011-11-04
• 公開（公告）號: CN103092712A
• 公開（公告）日: 2013-05-08
• 發明（設計）人: 范屹
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F11/07
• 分類號: G06F11/07
• 代理公司: 北京鑫媛睿博知識產權代理有限公司 11297
• 代理人: 龔家驊

1.一種任務中斷恢復方法，應用于包含有中心服務器和多個任務節點的分布式數據處理系統，其特征在于，該方法包括：

任務節點接收中心服務器分配的數據處理任務；其中，所述中心服務器根據負載均衡策略為任務節點分配數據處理任務；

所述任務節點根據分配到的數據處理任務，獲取對應的待處理數據塊，對獲取到的待處理數據塊進行處理，并保存數據塊的處理狀態信息；

當任務節點的數據處理任務異常中斷時，所述任務節點獲取其所保存的數據塊的處理狀態信息，并根據所述處理狀態信息進行中斷恢復處理。

2.如權利要求1所述的方法，其特征在于，所述任務節點將所述處理狀態信息保存于該任務節點的緩存中；

當任務節點的數據處理任務異常中斷時，所述任務節點查詢其所保存的數據塊的處理狀態信息，并根據所述處理狀態信息進行中斷恢復處理，包括：

當任務節點中進行數據處理的進程運行異常時，所述任務節點重啟該進程，并從緩存中獲取所述數據處理狀態信息，根據所述處理狀態信息進行中斷恢復處理。

3.如權利要求1所述的方法，其特征在于，所述任務節點維護有執行數據處理任務的進程的列表，所述列表中記錄有進程句柄以及該進程對應的版本號，各進程的版本號初始值相同；該方法還包括：

在設定的檢測周期到達時，當前正常運行的進程將所述列表中自己的版本號遞增，各進程所遞增的增量值相同；

檢測線程在所述列表中查找是否存在版本號與列表中的最大版本號之間的差值大于設定閾值的進程，并在查找到進程時通過所述進程句柄將所述進程殺死，創建與所殺死的進程相同數量的進程，將各進程的版本號設置相同的初始值。

4.如權利要求1所述的方法，其特征在于，所述任務節點將所述處理狀態信息保存于該任務節點的緩存中，并根據設定周期將其緩存中保存的處理狀態信息寫入文件并將該文件保存于本地文件系統；

當任務節點的數據處理任務異常中斷時，所述任務節點查詢其所保存的數據塊的處理狀態信息，并根據所述處理狀態信息進行中斷恢復處理，包括：

當任務節點異常重啟時，所述任務節點從本地文件系統中記錄有處理狀態信息的文件中讀取數據塊的處理狀態信息，并根據讀取到的數據塊的處理狀態信息進行中斷恢復處理。

5.如權利要求1-4之一所述的方法，其特征在于，該方法還包括：

中心服務器周期向任務節點發送請求消息，若在設定長時間內接收到任務節點返回的攜帶有該任務節點的負載信息的響應消息，則更新該中心服務器上保存的任務節點列表，所述任務節點列表中記錄有任務節點的標識、可用狀態和負載信息；若未在設定時間內接收到任務節點返回的響應消息，則將所述任務節點列表中該任務節點的可用狀態設置為不可用；

當中心服務器為任務節點分配數據處理任務時，根據所述任務節點列表進行分配。

6.一種任務節點設備，應用于分布式數據處理系統，其特征在于，包括：

接收模塊，用于接收中心服務器分配的數據處理任務；其中，所述中心服務器根據負載均衡策略為任務節點分配數據處理任務；

任務處理模塊，用于根據分配到的數據處理任務，獲取對應的待處理數據塊，對獲取到的待處理數據塊進行處理，并保存數據塊的處理狀態信息；

恢復處理模塊，用于當數據處理任務異常中斷時，獲取其所保存的數據塊的處理狀態信息，并根據所述處理狀態信息進行中斷恢復處理。

7.如權利要求6所述的任務節點設備，其特征在于，所述任務處理模塊將所述處理狀態信息保存于該任務節點的緩存中；

所述恢復處理模塊具體用于，當執行數據處理的進程運行異常時，重啟該進程，并從緩存中獲取所述數據處理狀態信息，據所述處理狀態信息進行中斷恢復處理。

8.如權利要求6所述的任務節點設備，其特征在于，所述任務處理模塊將所述處理狀態信息保存于該任務節點的緩存中，并根據設定周期將其緩存中保存的處理狀態信息寫入文件并將該文件保存于本地文件系統；

所述恢復處理模塊具體用于，當任務節點異常重啟時，從本地文件系統中記錄有處理狀態信息的文件中讀取數據塊的處理狀態信息，并根據讀取到的數據塊的處理狀態信息進行中斷恢復處理。