[發明專利]數據去重方法、裝置、計算機設備及存儲介質

在審

• 申請號: 201910327390.6
• 申請日: 2019-04-23
• 公開（公告）號: CN110245130A
• 公開（公告）日: 2019-09-17
• 發明（設計）人: 齊澤青
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2457
• 代理公司: 北京匯思誠業知識產權代理有限公司 11444
• 代理人: 馮曉平

本發明公開了一種數據去重方法、裝置、計算機設備及存儲介質，涉及大數據領域。該數據去重方法包括：獲取待比對數據；基于待比對數據，采用消息摘要算法計算生成相對應的待比對指紋；獲取用戶輸入的查詢指令，基于待比對指紋，根據查詢指令查詢是否存在與待比對指紋相同的現存指紋，得到查詢結果，其中，查詢指令包括標志位，現存指紋和待比對指紋采用相同的生成方式得到；執行標志位所代表的操作，并基于查詢結果變更現存指紋所對應的引用計數，完成數據去重。采用該數據去重方法能夠高效地完成數據去重。

【技術領域】

本發明涉及大數據領域，尤其涉及一種數據去重方法、裝置、計算機設備及存儲介質。

【背景技術】

數據去重又稱重復數據刪除(Data Deduplication)，是一種應用在存儲系統中的全局識別和消除冗余數據的技術，近些年來成為存儲系統研究的熱點。然而，隨著存儲系統存儲的數據量的逐漸上升，傳統的數據去重方法的處理效率在逐漸下降，無法滿足高效率的數據去重要求。

【發明內容】

有鑒于此，本發明實施例提供了一種數據去重方法、裝置、計算機設備及存儲介質，用以解決目前數據去重效率較低的問題。

第一方面，本發明實施例提供了一種數據去重方法，包括：

獲取待比對數據；

基于所述待比對數據，采用消息摘要算法計算生成相對應的待比對指紋；

獲取用戶輸入的查詢指令，基于所述待比對指紋，根據所述查詢指令查詢是否存在與所述待比對指紋相同的現存指紋，得到查詢結果，其中，所述查詢指令包括標志位，所述現存指紋和所述待比對指紋采用相同的生成方式得到；

執行所述標志位所代表的操作，并基于所述查詢結果變更所述現存指紋所對應的引用計數，完成數據去重。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述執行所述標志位所代表的操作，并基于所述查詢結果變更所述現存指紋所對應的引用計數，完成數據去重，包括：

若所述標志位所代表的操作為讀，則在根據所述查詢指令和所述待比對指紋查詢是否存在與所述待比對指紋相同的現存指紋之后，繼續執行讀操作，當所述查詢結果為存在與所述待比對指紋相同的現存指紋時，讀取與所述待比對指紋相同的現存指紋所對應的現存數據；

若所述標志位所代表的操作為寫，則在根據所述查詢指令和所述待比對指紋查詢是否存在與所述待比對指紋相同的現存指紋之后，繼續執行寫操作，當所述查詢結果為存在與所述待比對指紋相同的現存指紋時，將所述現存指紋所對應的引用計數作預加一；

若所述標志位所代表的操作為刪除，則在根據所述查詢指令和所述待比對指紋查詢是否存在與所述待比對指紋相同的現存指紋之后，繼續執行刪除操作，當所述查詢結果為存在與所述待比對指紋相同的現存指紋時，將所述現存指紋所對應的引用計數作預減一。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述基于所述待比對指紋，根據所述查詢指令查詢是否存在與所述待比對指紋相同的現存指紋，得到查詢結果，包括：

將所述待比對指紋和所述現存指紋從左至右進行字符串的比較；

當表示所述待比對指紋的字符串和表示所述現存指紋的字符串完全相同時，得到查詢結果為存在與所述待比對指紋相同的現存指紋，其中，所述字符串完全相同是指表示所述待比對指紋的字符串的長度和表示所述現存指紋的字符串的長度相等，且從左至右的每一個字符均相同；

當表示所述待比對指紋的字符串和表示所述現存指紋的字符串不完全相同時，得到查詢結果為不存在與所述待比對指紋相同的現存指紋。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述在獲取用戶輸入的查詢指令之前，還包括：