[發明專利]數據存儲、分散、重構、回收方法、裝置及數據處理系統

有效

• 申請號: 201710162001.X
• 申請日: 2017-03-17
• 公開（公告）號: CN108628539B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 葉敏;林鵬;汪渭春;林起芊
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孫翠賢;項京

本發明實施例公開了一種數據存儲、分散、重構、回收方法、裝置及數據處理系統，應用該存儲方法，將待存儲數據的各個數據片段分別存儲至各個存儲對象中，存儲對象為存儲數據的最小單元，各個存儲對象中存儲的數據片段份數的差值小于第一預設閾值，也就是說，本方案中，較均勻地將各個數據片段存儲至多個存儲對象中，能夠避免一個存儲對象出現故障，同一數據的多部分數據片段全部丟失，導致無法對該數據進行數據恢復的情況。

技術領域

本發明涉及數據處理技術領域，特別涉及一種數據存儲、分散、重構、回收方法、裝置及數據處理系統。

背景技術

磁盤陣列(Redundant Arrays of Independent Disks，RAID)技術，是指由多個磁盤組成一個大容量的磁盤組；將待存儲數據分割成多個片段，分別存放在各個磁盤中。

在磁盤陣列中通常利用糾刪碼(erasure coding，EC)進行數據保護，糾刪碼策略可以用n＝k+m來表示，其中，k表示原始片段份數，m表示冗余片段份數，n表示總的數據片段份數。具體的，可以將待存儲數據分割成k個原始片段，基于這k個原始片段進行擴展、編碼，得到m個冗余片段；將這k個原始片段和m個冗余片段分別存儲至各個磁盤中；這樣，如果某個磁盤出現故障導致數據丟失，則可以根據未丟失的原始片段及冗余片段對丟失的數據片段進行恢復。

上述方案中，通常將各個數據片段(原始片段及冗余片段)隨機地存儲至各個磁盤中，可能導致多部分數據片段存儲至一個磁盤中，如果該磁盤出現故障，該磁盤中存儲的多部分數據片段可能全部丟失，導致無法進行數據恢復。

發明內容

本發明實施例的目的在于提供一種數據存儲、分散、重構、回收方法、裝置及數據處理系統，以避免一個磁盤出現故障，多部分數據片段全部丟失，導致無法進行數據恢復的情況。

為達到上述目的，本發明實施例公開了一種數據存儲方法，包括：

根據預設的糾刪碼策略k+m，為待存儲數據分配x個存儲對象；其中，所述k 表示原始片段份數，所述m表示冗余片段份數，所述x大于1且不大于k+m，所述存儲對象為存儲數據的最小單元；

利用所述糾刪碼策略k+m，對所述待存儲數據進行切片及冗余處理，得到 k+m個數據片段；

將所述k+m個數據片段分別存儲至所述x個存儲對象，其中，各個存儲對象中存儲的數據片段份數的差值小于第一預設閾值；

記錄所述待存儲數據對應的索引信息，所述索引信息包括：每個數據片段與存儲所述數據片段的存儲對象的對應關系。

為達到上述目的，本發明實施例還公開了一種數據分散方法，包括：

在所記錄的索引信息中，確定待分散索引信息；其中，索引信息包括：每個數據片段與存儲所述數據片段的存儲對象的對應關系，所述存儲對象為存儲數據的最小單元；

根據所確定的待分散索引信息，確定待分散數據片段；

為所述待分散數據片段分配分散存儲對象；

將所述待分散數據片段分別存儲至所述分散存儲對象；

更新所述待分散索引信息。

為達到上述目的，本發明實施例還公開了一種數據重構方法，包括：

在所記錄的索引信息中，確定待重構索引信息；其中，索引信息包括：每個數據片段與存儲所述數據片段的存儲對象的對應關系，所述待重構索引信息中包含出現故障的存儲對象的信息，所述存儲對象為存儲數據的最小單元；

根據所述待重構信息中包含的未出現故障的存儲對象的信息，從所述未出現故障的存儲對象中讀取目標數據片段，所述目標數據片段為：所述待重構信息對應的待重構數據的每個數據片段；