[發明專利]一種數據管理方法、系統及電子設備和存儲介質

在審

• 申請號: 201910740429.7
• 申請日: 2019-08-12
• 公開（公告）號: CN112394873A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 周玉坤;付忞;古亮
• 申請（專利權）人: 深信服科技股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

本申請公開了一種數據管理方法、系統及一種電子設備和計算機可讀存儲介質，該方法包括：當接收到第一目標文件的寫請求時，對所述第一目標文件進行分塊處理，并生成所述第一目標文件的元數據；根據所述元數據確定所述第一目標文件中的數據塊是否為文件間高引用數據塊；其中，所述文件間高引用數據塊為文件間引用計數大于或等于閾值的文件間重復數據塊；若所述數據塊為文件間高引用數據塊，則利用副本策略對所述數據塊進行冗余管理；若所述數據塊為非文件間高引用數據塊，則利用糾刪碼策略對所述數據塊進行冗余管理。由此可見，本申請提供的數據管理方法，以較低存儲開銷來保證較高的數據可用性，避免存儲設備故障導致的數據丟失或不可訪問的問題。

技術領域

本申請涉及存儲技術領域，更具體地說，涉及一種數據管理方法、系統及一種電子設備和一種計算機可讀存儲介質。

背景技術

數據去重技術作為一種系統級的壓縮技術已經廣泛地應用到備份系統、主存儲系統、虛擬機和云存儲系統中。由于存儲系統不可避免地面臨著不可糾正的磁盤錯誤和潛在的扇區錯誤，因此保證數據可用性成為存儲系統的重要安全指標之一。相對于沒有采用數據去重的存儲系統，數據去重可以減少存儲開銷，但是也不可避免地損害了數據可用性。數據去重后文件的邏輯布局和物理布局是不一致的，且不同文件中會引用同一個數據塊。一個物理塊的丟失會造成更加嚴重的二級存儲系統的數據丟失。因此，提高數據去重系統的數據可用性是非常嚴峻的挑戰。

目前通常采用對數據去重后的數據采用糾刪碼或者副本策略，存儲系統中采用的基于糾刪碼策略的可擴展性差且會造成額外的I/O開銷，而基于副本策略的方法會增加存儲開銷。

因此，如何滿足數據去重存儲系統中的可用性和低存儲開銷的需求是本領域技術人員需要解決的技術問題。

發明內容

本申請的目的在于提供一種數據管理方法、系統及一種電子設備和一種計算機可讀存儲介質，滿足數據去重存儲系統中的可用性和低存儲開銷的需求。

為實現上述目的，本申請提供了一種數據管理方法，包括：

當接收到第一目標文件的寫請求時，對所述第一目標文件進行分塊處理，并生成所述第一目標文件的元數據；

根據所述元數據確定所述第一目標文件中的數據塊是否為文件間高引用數據塊；其中，所述文件間高引用數據塊為文件間引用計數大于或等于閾值的文件間重復數據塊；

若所述數據塊為所述文件間高引用數據塊，則利用副本策略對所述數據塊進行冗余管理；

若所述數據塊為非文件間高引用數據塊，則利用糾刪碼策略對所述數據塊進行冗余管理。

其中，所述根據所述元數據確定所述第一目標文件中的數據塊是否為文件間高引用數據塊，包括：

判斷所述第一目標文件中的數據塊是否為文件間重復數據塊；

若所述數據塊為所述文件間重復數據塊，則當所述數據塊的文件間引用計數大于或等于閾值時，判定所述數據塊為文件間高引用數據塊，當所述文件間引用計數小于所述閾值時，判定所述數據塊為文件間低引用數據；

若所述數據塊為非文件間重復數據塊，則判定所述數據塊為所述非文件間高引用數據塊。

其中，所述判斷所述第一目標文件中的數據塊是否為文件間重復數據塊，包括：

判斷所述數據塊的指紋是否與所述第一目標文件的元數據中的指紋序列匹配；

若與所述第一目標文件的元數據中的指紋序列匹配，則所述數據塊為文件內重復數據塊；

若未與所述第一目標文件的元數據中的指紋序列匹配，則判斷所述指紋是否命中其他文件的指紋序列；若是，則所述數據塊為文件間重復數據塊；若否，則所述數據塊為非重復數據塊。