[發明專利]數據存儲、分散、重構、回收方法、裝置及數據處理系統

有效

• 申請號: 201710162001.X
• 申請日: 2017-03-17
• 公開（公告）號: CN108628539B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 葉敏;林鵬;汪渭春;林起芊
• 申請（專利權）人: 杭州?？低晹底旨夹g股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孫翠賢;項京

1.一種數據存儲方法，其特征在于，包括：

根據預設的糾刪碼策略k+m，為待存儲數據分配x個存儲對象；其中，所述k表示原始片段份數，所述m表示冗余片段份數，所述x大于1且不大于k+m，所述存儲對象為存儲數據的最小單元；

利用所述糾刪碼策略k+m，對所述待存儲數據進行切片及冗余處理，得到k+m個數據片段；

將所述k+m個數據片段分別存儲至所述x個存儲對象，其中，各個存儲對象中存儲的數據片段份數的差值小于第一預設閾值；

記錄所述待存儲數據對應的索引信息，所述索引信息包括：每個數據片段與存儲所述數據片段的存儲對象的對應關系。

2.根據權利要求1所述的方法，其特征在于，所述根據預設的糾刪碼策略k+m，為待存儲數據分配x個存儲對象的步驟包括：

判斷可用存儲節點的數量是否不小于k+m；

如果不小于，在可用存儲節點中確定x個存儲對象；其中，所確定的每個存儲對象所在的存儲節點不同；所述x等于所述k+m；

所述將所述k+m個數據片段分別存儲至所述x個存儲對象的步驟包括：

將每個數據片段分別存儲至不同存儲節點中的存儲對象。

3.根據權利要求2所述的方法，其特征在于，在判斷可用存儲節點的數量小于k+m的情況下，所述方法還包括：

判斷全部可用存儲節點中的可用存儲對象的數量是否不小于k+m；

如果是，在全部可用存儲節點中確定x個存儲對象；其中，所述x等于所述k+m，每個可用存儲節點中確定的存儲對象的數量差值小于第二預設閾值；

所述將所述k+m個數據片段分別存儲至所述x個存儲對象的步驟包括：

將每個數據片段分別存儲至不同存儲對象。

4.根據權利要求3所述的方法，其特征在于，在判斷可用存儲節點中的可用存儲對象的數量小于k+m的情況下，所述方法還包括：

將全部可用存儲對象分配給所述待存儲數據；其中，所述x等于全部可用存儲對象的數量；

所述將所述k+m個數據片段分別存儲至所述x個存儲對象的步驟包括：

將所述k+m個數據片段均勻劃分為x份，將所述x份數據片段分別存儲至所述x個存儲對象。

5.一種數據分散方法，其特征在于，包括：

在所記錄的索引信息中，確定待分散索引信息；其中，索引信息包括：每個數據片段與存儲所述數據片段的存儲對象的對應關系，所述存儲對象為存儲數據的最小單元，各個存儲對象中存儲的數據片段份數的差值小于第一預設閾值；

根據所確定的待分散索引信息，確定待分散數據片段；

為所述待分散數據片段分配分散存儲對象；

將所述待分散數據片段分別存儲至所述分散存儲對象；

更新所述待分散索引信息；

所述在所記錄的索引信息中，確定待分散索引信息的步驟包括：

針對每條索引信息，確定其所對應的各個存儲對象的記錄次數；

當存在記錄次數超過第三預設閾值的目標存儲對象時，將該索引信息確定為待分散索引信息；

所述根據所確定的待分散索引信息，確定待分散數據片段的步驟包括：

確定所述待分散索引信息所對應的、記錄次數超過所述第三預設閾值的目標存儲對象；

在所確定的目標存儲對象對應的數據片段中，確定待分散數據片段。

6.一種數據重構方法，其特征在于，包括：

在所記錄的索引信息中，確定待重構索引信息；其中，索引信息包括：每個數據片段與存儲所述數據片段的存儲對象的對應關系，所述待重構索引信息中包含出現故障的存儲對象的信息，所述存儲對象為存儲數據的最小單元，各個存儲對象中存儲的數據片段份數的差值小于第一預設閾值；

根據所記錄的索引信息中包含的未出現故障的存儲對象的信息，從所述未出現故障的存儲對象中讀取目標數據片段，所述目標數據片段為：所記錄的索引信息對應的待重構數據的每個數據片段；

利用預設的糾刪碼策略，對所述目標數據片段進行重構，得到修復片段；

將所述修復片段存儲至為其分配的存儲對象中；

更新所述待重構索引信息。