[發明專利]容錯處理方法及裝置

有效

• 申請號: 201410763653.5
• 申請日: 2014-12-11
• 公開（公告）號: CN105740085B
• 公開（公告）日: 2019-04-19
• 發明（設計）人: 劉杰;張鵬;黨李飛;曾永斌;王群
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F9/50
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

本發明公開了一種容錯處理方法及裝置，屬于計算機技術領域。方法包括：在任務執行過程中，當檢測到內存不足的錯誤信息時，獲取失敗任務的原始數據；將原始數據進行切分，得到至少一個數據塊；調用數據處理節點對至少一個數據塊進行運算處理；獲取至少一個數據塊對應的運算結果；將各個運算結果進行合并，得到最終運算結果，向客戶端發送最終運算結果。由于對原始數據進行了切分處理，所以實現了將原始任務切分為多個子任務，在子任務執行過程中，相較于執行整個任務而言降低了內存使用率，并調用本地從節點或其他從節點分別對多個子任務進行處理，可保證在本地從節點內存不足的情況下對失敗任務進行有效處理，提升了任務執行效率和容錯可靠性。

技術領域

本發明涉及計算機技術領域，特別涉及一種容錯處理方法及裝置。

背景技術

Spark是一種通用的分布式大數據并行計算框架，基于MR(Map Reduce)算法實現分布式計算。Spark與MR相比，最大的特點是數據的運算結果可以存儲在內存中。基于這種功能特性，Spark在海量數據處理、迭代運算和數據挖掘方面更具優勢。

參見圖1所示的Spark分布式系統的框架圖，主要包含3大部分：Driver(客戶端)、MasterNode(主節點)以及SlaveNode(從節點)。在圖1中，Driver的TaskScheduler(任務調度)模塊在執行任務分配時會考慮SlaveNode的資源剩余狀況。也即考慮SlaveNode是否能夠能將Spark應用正常啟動。Spark應用正常啟動后，在執行任務期間會產生大量的中間數據結果。尤其在運行機器學習算法時會涉及到多次迭代運算，產生的中間數據結果將是輸入數據的3至5倍甚至更多。而這些中間數據結果均會存儲在內存中。由于上述任務分配方式僅考慮了應用啟動時需要的內存，因此往往在任務執行期間會出現內存不足的情況，從而導致任務執行失敗。

為此，現有的容錯處理方法在發現任務執行失敗后，會將內存不足的錯誤信息反饋給客戶端的DAGScheduler(DAG調度)模塊。DAGScheduler模塊在接收到該錯誤信息后，將該執行失敗的任務重新置于調度表中。之后，根據自身的資源調度模式，為該執行失敗的任務重新分配數據處理節點。

在實現本發明的過程中，發明人發現現有技術至少存在以下問題：

由于Spark分布式系統的資源調度模式基于數據盡量本地化的原則，也即盡量將任務分配到相關數據本身所在的節點上。所以當任務執行失敗后，DAGSch eduler模塊重新將該執行失敗的任務分配給原來SlaveNode的幾率很高。由于該任務的原始數據一般數據量較大，而原來SlaveNode的剩余內存又很少，因此會再一次出現任務執行失敗的情況，從而降低了Spark分布式系統容錯的可靠性和任務的執行效率。

發明內容

為了解決現有技術的問題，本發明實施例提供了一種容錯處理方法及裝置。所述技術方案如下：

第一方面，提供了一種容錯處理方法，所述方法包括：

在任務執行過程中，當檢測到內存不足的錯誤信息時，獲取失敗任務的原始數據；

將所述原始數據進行切分，得到至少一個數據塊；

調用數據處理節點對所述至少一個數據塊進行運算處理，所述數據處理節點為本地從節點或除所述本地從節點之外的其他從節點；

獲取所述至少一個數據塊對應的運算結果；

將各個運算結果進行合并，得到最終運算結果，向客戶端發送所述最終運算結果。

在第一方面的第一種可能的實現方式中，所述將失敗任務的原始數據進行切分之前，所述方法還包括：

獲取所述本地從節點和所述其他從節點的剩余內存信息；

根據所述剩余內存信息，計算各個從節點對應的數據分配加權值；