[發明專利]一種數據恢復方法及分布式數據恢復系統

有效

• 申請號: 202010546266.1
• 申請日: 2020-06-16
• 公開（公告）號: CN111444046B
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 甘紅星
• 申請（專利權）人: 北京金山云科技有限公司;北京金山云網絡技術有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F11/10
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;馬敬

本發明實施例提供了一種數據恢復方法及分布式數據恢復系統，包括：管理節點檢測到有數據存儲節點存在數據對象丟失時，從多個數據存儲節點中確定目的節點，生成數據恢復指令，將數據恢復指令發送至目的節點；目的節點根據接收到的數據恢復指令中的源數據節點信息，確定用于恢復待恢復丟失數據對象中各條待恢復數據的數據恢復索引，基于數據恢復索引向源數據節點發送數據恢復請求，并根據源數據節點返回的源數據對象數據，對至少兩條待恢復數據進行恢復，直至待恢復丟失數據對象中的各條待恢復數據均恢復完成。本發明實施例，能夠減少數據恢復的時間，提高數據的安全性。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種數據恢復方法及分布式數據恢復系統。

背景技術

隨著大數據時代的到來，數據的使用量成倍增長，使得對數據的存儲和恢復有著越來越高的要求。對象存儲，也叫做基于對象的存儲，是一種非結構化數據的存儲方式。分布式存儲將不同存儲節點如服務器上的空閑磁盤通過網絡連接在一起，并對外提供統一的存儲接口。分布式對象存儲系統可以在一個持久穩固且高度可用的系統中存儲任意的對象，用戶和應用等可以在對象存儲中使用簡單的API（Application ProgrammingInterface，應用程序接口）訪問數據對象，例如，該數據對象可以為一個數據塊等。

分布式對象存儲系統中最常見的兩種數據冗余技術是多副本策略和糾刪碼技術，相比于多副本策略，糾刪碼技術具有更高的磁盤利用率。糾刪碼技術主要是通過糾刪碼算法將原始的數據塊進行編碼得到校驗塊，并將數據塊和校驗塊一并存儲起來，以達到數據容錯的目的。

現有使用糾刪碼技術對分布式對象存儲系統中丟失的數據進行恢復的方法為：當管理節點檢測到存在數據塊丟失時，隨機選擇一個數據存儲節點作為數據恢復節點，并向該數據恢復節點發送數據恢復指令；數據恢復節點接收到數據恢復指令后，向數據恢復指令中攜帶的數據源節點標識對應的數據源節點發送數據獲取請求，進而接收數據源節點返回的數據，對接收的數據使用EC（Erasure Code，糾刪碼）技術進行編解碼處理，以恢復丟失的數據塊。

實際應用中，丟失的數據塊中可能包含成千上萬條數據，使用現有的數據恢復方法，在數據恢復節點向數據源節點發送數據獲取請求時，是基于數據源節點中存儲的數據塊對應的索引信息，逐條向數據源節點發送數據獲取請求的，其中，索引信息表示了數據源節點中數據存儲的組織方式，每一個數據獲取請求用于請求一條數據，數據恢復節點在接收數據源節點返回的一條數據后，恢復一條丟失數據，再向數據源節點發送下一條數據獲取請求，至所有丟失數據都得到恢復，進而得到整個丟失數據塊的恢復數據。在此過程中，因需要逐條向數據源節點發送數據獲取請求，對丟失數據塊中的數據進行逐條恢復，即對一條數據恢復之后再請求恢復下一條數據，使得數據恢復的時間較長，導致丟失的數據塊長時間處于缺失的狀態，影響數據的安全性。

發明內容

本發明實施例的目的在于提供一種數據恢復方法及分布式數據恢復系統，能夠減少數據恢復的時間，提高數據的安全性。具體技術方案如下：

第一方面，本發明實施例提供了一種數據恢復方法，應用于分布式對象存儲系統中的管理節點，所述分布式對象存儲系統包括：管理節點和多個數據存儲節點，所述方法包括：

當檢測到有所述數據存儲節點存在數據對象丟失時，從所述多個數據存儲節點中確定目的節點；

生成數據恢復指令，所述數據恢復指令中包含：待恢復丟失數據對象所屬的源數據節點信息，所述待恢復丟失數據對象包含至少兩條待恢復數據，所述源數據節點為多個所述數據存儲節點中的至少一個；