[發明專利]容錯處理方法及裝置

有效

• 申請號: 201410763653.5
• 申請日: 2014-12-11
• 公開（公告）號: CN105740085B
• 公開（公告）日: 2019-04-19
• 發明（設計）人: 劉杰;張鵬;黨李飛;曾永斌;王群
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F9/50
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

1.一種容錯處理方法，其特征在于，所述方法包括：

在任務執行過程中，當檢測到內存不足的錯誤信息時，獲取失敗任務的原始數據；

根據各個從節點對應的數據分配加權值和所述原始數據的大小，對所述原始數據進行切分，得到至少一個數據塊，所述至少一個數據塊為所述各個從節點對應的數據塊，所述各個從節點包括本地從節點和除所述本地從節點以外的其他從節點，所述數據分配加權值根據所述本地從節點和所述其他從節點的剩余內存信息計算得到，

或者，根據所述原始數據的分塊數量和所述原始數據的大小，對所述原始數據進行切分，得到至少一個數據塊，所述分塊數量根據所述本地從節點在執行所述失敗任務過程中的內存峰值和所述本地從節點的剩余內存信息計算得到；

調用數據處理節點對所述至少一個數據塊進行運算處理，所述數據處理節點為所述本地從節點或所述其他從節點；

獲取所述至少一個數據塊對應的運算結果；

將各個運算結果進行合并，得到最終運算結果，向客戶端發送所述最終運算結果。

2.根據權利要求1所述的方法，其特征在于，所述根據各個從節點對應的數據分配加權值和所述原始數據的大小，對所述原始數據進行切分之前，所述方法還包括：

獲取所述本地從節點和所述其他從節點的剩余內存信息；

根據所述剩余內存信息，計算各個從節點對應的數據分配加權值。

3.根據權利要求2所述的方法，其特征在于，所述調用數據處理節點對所述至少一個數據塊進行運算處理之前，所述方法還包括：

為各個從節點對應的數據塊分配子任務名稱；

所述調用數據處理節點對所述至少一個數據塊進行運算處理，包括：

向各個從節點發送對應的數據塊和子任務名稱，由所述本地從節點和所述其他從節點對所述至少一個數據塊進行運算處理。

4.根據權利要求3所述的方法，其特征在于，所述獲取所述至少一個數據塊對應的運算結果，包括：

根據每一個數據塊對應的子任務名稱，從所述本地從節點和所述其他從節點中，獲取每一個數據塊對應的運算結果。

5.根據權利要求1所述的方法，其特征在于，所述根據所述原始數據的分塊數量和所述原始數據的大小，對所述原始數據進行切分之前，所述方法還包括：

獲取所述本地從節點在執行所述失敗任務過程中的內存峰值；

獲取所述本地從節點的剩余內存信息；

根據所述內存峰值和所述剩余內存信息，計算所述原始數據的分塊數量。

6.根據權利要求5所述的方法，其特征在于，所述調用數據處理節點對所述至少一個數據塊進行運算處理之前，所述方法還包括：

為每一個數據塊分配子任務名稱；

所述調用數據處理節點對所述至少一個數據塊進行運算處理，包括：

調用所述本地從節點依次對每一個數據塊進行運算處理，將得到的運算結果保存在本地磁盤上。

7.根據權利要求6所述的方法，其特征在于，所述獲取所述至少一個數據塊對應的運算結果，包括：

根據每一個數據塊對應的子任務名稱，從所述本地磁盤中，獲取每一個數據塊對應的運算結果。