[發明專利]數據處理方法和裝置

有效

• 申請號: 201410606716.6
• 申請日: 2014-10-31
• 公開（公告）號: CN105610879B
• 公開（公告）日: 2019-05-17
• 發明（設計）人: 辛華
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉芳

本發明實施例提供一種數據處理方法和裝置。本發明數據處理方法，包括：接收管理節點發送的數據處理任務消息，所述數據處理任務消息攜帶有原始數據個數和效驗數據個數；根據所述原始數據個數和所述效驗數據個數獲取生成矩陣；同時獲取管理節點對網絡中各數據存儲節點進行區域劃分的區域劃分結果；根據所述區域劃分結果和所述生成矩陣對網絡中各數據存儲節點中的數據進行數據處理，所述數據處理包括生成效驗數據處理和恢復原始數據處理。本發明實施例在接收到EC任務后各區域分別進行數據處理，進而實現性能較好的區域在完成一項EC任務后可以進行下一項EC任務處理，發揮分布式并行處理的優點，充分利用了網絡資源和計算資源。

技術領域

本發明實施例涉及計算機技術，尤其涉及一種數據處理方法和裝置。

背景技術

云計算、大數據所帶來的海量數據，對越來越龐大的數據中心帶來考驗，軟件定義基礎設施(Software Define Infrastructure，簡稱SDI)將是未來數據中心的發展趨勢。SDI規劃了利用三維環狀網絡(3D Tours)、三維網狀網絡(3D Mesh)等網絡拓撲來提升網絡的性能和應用的性能，3D Torus和3D Mesh是現在用的比較多的網絡拓撲結構，其在平面的基礎上，向三維空間擴展，節點的連接采用GE或IB網絡，節點之間的消息傳遞、負載均衡有專有的算法，具有多路徑、簡單、對稱、易擴展等特點。目前使用容刪碼(Erasure Code，簡稱EC)算法實現數據容錯技術也已經規劃在SDI中，在3D Tours、3D Mesh等網絡拓撲下運行分布式文件系統或分布式存儲軟件，利用該EC算法來編碼和解碼數據。

EC算法的具體原理為，將n份原始數據，增加m份校驗數據，并能通過n+m份中的任意n份數據，還原為原始數據。其包含了編碼(Encoding)和解碼(Decoding)兩個過程，將原始的n份數據變為n+m份是編碼，n+m份數據可分散存放在不同的位置，如果有任意小于m份的數據失效，仍然能通過剩下的數據還原出來，還原的過程叫解碼。由此可見通過EC算法，只保留原始數據和校驗數據，當數據丟失時候可以通過EC算法恢復原始數據，這樣在保證數據存儲的可靠性的同時大大的減少了存儲資源，降低了企業存儲成本。典型的EC算法有XOR、Reed-Solomon、Cauchy-Reed-Solomon等算法。EC算法實際上就是利用線性代數的矩陣相乘的原理，先根據原始數據的個數和校驗數據的個數得到生成矩陣，使用生成矩陣乘以原始數據得到校驗數據。恢復的過程即利用生成矩陣的逆矩陣乘以現有數據來得到丟失的數據。不管生成矩陣是范德蒙矩陣還是Cauchy矩陣或是優化過的矩陣，其核心都是矩陣的乘法。

然而，在3D Tours、3D Mesh等網絡拓撲下運行分布式文件系統過程中，利用現有EC算法進行編碼和解碼數據，以保證數據存儲的可靠性時，仍然不能有效利用網絡資源，對于網絡資源消耗比較大，因此如何在3D Tours、3DMesh等網絡拓撲下進一步提升EC算法的性能是如今亟待解決的一技術問題。

發明內容

本發明實施例提供一種數據處理方法和裝置，以解決現有EC算法不能有效利用網絡資源，對于網絡資源消耗比較大的問題。

第一方面，本發明實施例提供一種數據處理方法，包括：

接收管理節點發送的數據處理任務消息，所述數據處理任務消息攜帶有原始數據個數和效驗數據個數；

根據所述原始數據個數和所述效驗數據個數獲取生成矩陣；同時獲取所述管理節點對網絡中各數據存儲節點進行區域劃分的區域劃分結果，其中，所述區域劃分結果包括區域個數和各區域內的各數據存儲節點的信息；

根據所述區域劃分結果和所述生成矩陣對網絡中各數據存儲節點中的數據進行數據處理，所述數據處理包括生成效驗數據處理和恢復原始數據處理。

結合第一方面，在第一方面的第一種可能的實現方式中，若所述數據處理為生成效驗數據處理；