[發明專利]對象重刪方法、裝置、電子設備及機器可讀存儲介質

有效

• 申請號: 202011176236.2
• 申請日: 2020-10-28
• 公開（公告）號: CN112286457B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 柯丹丹;上官應蘭
• 申請（專利權）人: 杭州宏杉科技股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊春香

本申請提供一種對象重刪方法、裝置、電子設備及機器可讀存儲介質。在本申請中，基于與目標數據對應的目標對象的特征元數據的指紋先做一次重復數據檢測，由此可以快速檢測出對象存儲系統中是否存在與目標數據重復的數據，減少了對象存儲系統的數據計算量，極大地提高了重刪效率。

技術領域

本申請涉及存儲技術領域，尤其涉及對象重刪方法、裝置、電子設備及機器可讀存儲介質。

背景技術

隨著互聯網應用的迅猛發展，PB級甚至EB級的海量數據存儲變得尤為重要。對象存儲系統作為一種新型的分布式存儲系統，對象是對象存儲系統中的基本實體，通過提供基于對象的訪問接口，可存儲任意類型的數據，比如：圖片、視頻、音頻、文本等。對象存儲系統有效解決了傳統存儲共享能力有限、擴展性差等問題。

重刪技術，全稱重復數據刪除技術，是一種在存儲系統中自動搜索重復數據，將相同數據只保留唯一的一個副本，以達到消除冗余數據、降低存儲容量需求的存儲技術。

發明內容

本申請提供一種對象重刪方法，所述方法應用于對象存儲系統；其中，所述對象存儲系統啟用了對象重刪機制，所述方法包括：

響應于來自對象客戶端的將目標數據以對象方式保存至對象存儲系統中的對象寫入請求，獲取與所述目標數據對應的目標對象的第一對象元數據；

基于所述目標對象的第一對象元數據，計算得到對應的目標對象特征指紋；

在預設的對象元數據特征指紋庫中，查找確定是否存在與得到的所述目標對象特征指紋匹配的對象元數據特征指紋；

如果是，則基于匹配的對象元數據特征指紋獲取對應的第二對象元數據，并基于所述第一對象元數據及所述第二對象元數據執行對象重刪處理。

可選的，所述第一對象元數據至少包括與所述目標數據相關的第一數據特征元數據；其中，所述第一數據特征元數據包括所述目標數據的數據類型、數據長度及數據校驗值；

所述基于所述目標對象的第一對象元數據，計算得到對應的目標對象特征指紋，包括：

獲取所述目標對象的第一對象元數據中所述第一數據特征元數據中的所述目標數據的數據類型、數據長度及數據校驗值；

將獲取的所述目標數據的數據類型、數據長度及數據校驗值，按預設的順序執行拼接得到拼接數據，并將得到拼接數據輸入至預設的哈希算法計算得到對應的哈希值，將得到的哈希值確定為與所述第一對象元數據對應的目標對象特征指紋。

可選的，在預設的對象元數據特征指紋庫中不存在與得到的所述目標對象特征指紋匹配的對象元數據特征指紋時，還包括：

將得到的所述目標對象特征指紋，添加至所述預設的對象元數據特征指紋庫中，并對所述目標對象執行基于普通模式的對象重刪處理。

可選的，所述第二對象元數據至少包括與匹配的對象元數據特征指紋對應的重刪數據的第二數據特征元數據；其中，所述第二數據特征元數據包括所述重刪數據的數據類型、數據長度及數據校驗值；

所述基于所述第一對象元數據及所述第二對象元數據執行對象重刪處理，包括：

將所述第一對象元數據包括的所述目標數據的數據類型、數據長度及數據校驗值，與所述第二對象元數據包括的所述重刪數據的數據類型、數據長度及數據校驗值分別進行檢查是否相同；

如果都相同，則確定與所述目標對象對應的目標數據在所述對象存儲系統中存在重復的重刪數據。

本申請還提供一種對象重刪裝置，所述裝置應用于對象存儲系統；其中，所述對象存儲系統啟用了對象重刪機制，所述裝置包括：