[發明專利]一種數據管理方法、系統及電子設備和存儲介質

在審

• 申請號: 201910740429.7
• 申請日: 2019-08-12
• 公開（公告）號: CN112394873A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 周玉坤;付忞;古亮
• 申請（專利權）人: 深信服科技股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

1.一種數據管理方法，其特征在于，包括：

對第一目標文件進行分塊處理，并生成所述第一目標文件的元數據；

根據所述元數據確定所述第一目標文件中的數據塊是否為文件間高引用數據塊；其中，所述文件間高引用數據塊為文件間引用計數大于或等于閾值的文件間重復數據塊；

若所述數據塊為所述文件間高引用數據塊，則利用副本策略對所述數據塊進行冗余管理；

若所述數據塊為非文件間高引用數據塊，則利用糾刪碼策略對所述數據塊進行冗余管理。

2.根據權利要求1所述數據管理方法，其特征在于，所述根據所述元數據確定所述第一目標文件中的數據塊是否為文件間高引用數據塊，包括：

判斷所述第一目標文件中的數據塊是否為文件間重復數據塊；

若所述數據塊為所述文件間重復數據塊，則當所述數據塊的文件間引用計數大于或等于閾值時，判定所述數據塊為文件間高引用數據塊，當所述文件間引用計數小于所述閾值時，判定所述數據塊為文件間低引用數據；

若所述數據塊為非文件間重復數據塊，則判定所述數據塊為所述非文件間高引用數據塊。

3.根據權利要求2所述數據管理方法，其特征在于，所述判斷所述第一目標文件中的數據塊是否為文件間重復數據塊，包括：

判斷所述數據塊的指紋是否與所述第一目標文件的元數據中的指紋序列匹配；

若與所述第一目標文件的元數據中的指紋序列匹配，則所述數據塊為文件內重復數據塊；

若未與所述第一目標文件的元數據中的指紋序列匹配，則判斷所述指紋是否命中其他文件的指紋序列；若是，則所述數據塊為文件間重復數據塊；若否，則所述數據塊為非重復數據塊。

4.根據權利要求1所述數據管理方法，其特征在于，所述利用副本策略對所述數據塊進行冗余管理，包括：

當所述文件間引用計數滿足預設條件時，增加所述數據塊的副本數量。

5.根據權利要求4所述數據管理方法，其特征在于，所述預設條件包括第一預設條件或第二預設條件；所述第一預設條件為所述文件間引用計數等于所述閾值，所述第二預設條件為所述文件間引用計數、目標引用計數和所述當前副本數量滿足預設關系，所述目標引用計數為副本數量從目標副本數量增加至所述當前副本數量時所述數據塊的引用計數，所述目標副本數量為所述當前副本數量減一。

6.根據權利要求1所述數據管理方法，其特征在于，所述利用糾刪碼策略對所述數據塊進行冗余管理，包括：

將所述數據塊加入目標容器中；

當所述目標容器填滿時，將所述目標容器劃分為k個數據對象，并生成所述k個數據對象對應的m個校驗對象；其中，m、k為正整數；

將所述k個數據對象和所述m個校驗對象存儲至k+m個節點中。

7.根據權利要求1至6中任一項所述數據管理方法，其特征在于，還包括：

當接收到第二目標文件讀請求時，根據糾刪碼條帶的元數據信息從至少k個節點中讀取所述第二目標文件中每個數據塊的編碼對象；

對所述編碼對象進行解碼操作，得到所述第二目標文件中的每個數據塊，以便響應所述讀請求。

8.一種數據管理系統，其特征在于，包括：

生成模塊，用于當接收到第一目標文件的寫請求時，對所述第一目標文件進行分塊處理，并生成所述第一目標文件的元數據；

確定模塊，用于根據所述元數據確定所述第一目標文件中的數據塊是否為文件間高引用數據塊；其中，所述文件間高引用數據塊為文件間引用計數大于或等于閾值的文件間重復數據塊；若是，則啟動第一管理模塊的工作流程；若否，則啟動第二管理模塊的工作流程；

所述第一管理模塊，用于利用副本策略對所述數據塊進行冗余管理；

所述第二管理模塊，用于利用糾刪碼策略對所述數據塊進行冗余管理。

9.一種電子設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至7任一項所述數據管理方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述數據管理方法的步驟。