[發明專利]一種用于數據去重的方法、設備和系統

有效

• 申請號: 201610849588.7
• 申請日: 2016-09-23
• 公開（公告）號: CN107870922B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 鄢彪;黃佳;廖睿;胡博;吳遷
• 申請（專利權）人: 伊姆西IP控股有限責任公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/174
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;龐淑敏

本公開提供了一種用于數據去重的方法、設備和系統。在根據本公開的一個實施方式中，該用于數據去重的方法包括：針對待被去重數據塊，將指向所述待被去重數據塊的指針設置為指向對應的待保留數據塊的指針，并設置指向所述待被去重數據塊的虛擬指針；響應于可用存儲容量達到預定值，取消指向各個將被回收的待被去重數據塊的虛擬指針，并回收所述各個將被回收的待被去重數據塊的存儲空間，其中在指向所述待被去重數據塊的虛擬指針可用的情況下，通過所述虛擬指針來訪問所述待去重的數據塊。在本公開的實施方式中，重復的數據塊在可用存儲容量不足之前并不會被回收，而借助于設置的虛擬指針，可以在重復數據塊被回收之前，通過該虛擬指針來直接訪問數據塊，因此可以得到良好的數據訪問性能。

技術領域

本公開的實施方式涉及數據存儲技術領域，并且更具體地涉及用于數據去重的方法和系統。

背景技術

“去重”是數據存儲中常用的一項技術，其目的是要盡量去除存儲區中重復的數據，以便節約存儲空間，提高存儲效率?，F有的去重技術是采用虛擬塊管理(VBM)方法，利用該方法，可以通過僅僅掃描文件管理系統而無需訪問文件節點和間接塊，來提供一種有效的數據塊去重手段。

通常，在通過去重掃描發現重復數據后，將會把所發現的重復數據的VBM模塊的指針重新導向至已有的數據的VBM模塊，并回收重復數據的存儲空間，使其變為空閑存儲空間。

然而，由于重復數據的虛擬塊管理模塊的指針重新導向，將會造成讀取操作的重新導向以及寫入操作被分隔(write split)，而這些都會引起性能降級。寫入被分隔主要是由于引入了碎片，這是因為去重操作在大多數情況下都會把原本連續的數據存儲區打碎成若干片，引入碎片是這種去重操作與生俱來的劣勢。目前，去重方法所引發的性能問題已經潛在地對該技術的使用造成了一些障礙。

發明內容

有鑒于此，本公開提供了一種新的數據去重的技術方案，以克服或者緩解如前所述的現有技術中存在的至少一部分缺陷。

根據本公開的第一方面，提供了一種用于數據去重的方法。該方法可以包括：針對待被去重數據塊，將指向所述待被去重數據塊的指針設置為指向對應的待保留數據塊的指針，并設置指向所述待被去重數據塊的虛擬指針；響應于可用存儲容量達到預定值，取消指向各個將被回收的待被去重數據塊的虛擬指針，并回收所述各個將被回收的待被去重數據塊的存儲空間。特別地，在指向所述待被去重數據塊的虛擬指針可用的情況下，通過所述虛擬指針來訪問所述待去重的數據塊。

在根據本公開的一個實施方式中，所述方法可以進一步包括在雙指針結構中采用與被設置為指向對應的待保留數據塊的指針的所述指針類似的結構，存儲指向所述待被去重數據塊的所述虛擬指針。

在根據本公開的另一實施方式中，所述方法可以進一步包括：針對指向所述待被去重數據塊的所述虛擬指針，設置指示所述虛擬指針是否可用的虛擬指針指示位。

在根據本公開的又一實施方式中，取消指向各個將被回收的待被去重數據塊的虛擬指針可以包括：將所述虛擬指針指示位設置為指示所述虛擬指針不可用的值。

在根據本公開的再一實施方式中，所述方法可以進一步包括：針對指向每個數據塊的指針，設置用于指示該指針被多少個其他數據塊的指針所共享的共享計數位，其中在所述共享計數位的值大于0且所述虛擬指針不可用的情況下，在針對數據塊執行寫操作時為所述寫操作分配新存儲資源，并將所述寫操作所針對的數據塊的指針設置為指向用新分配的存儲資源存儲的數據塊。

在根據本公開的另一實施方式中，在為所述寫操作分配新存儲資源時，在沒有空閑存儲資源可用的情況下，執行以下操作其中之一：將可回收資源中長度較長的連續數據塊回收，以便分配給所述寫操作；以及將所述可回收資源中長度與所述寫操作更為匹配的連續數據塊回收，以便分配給所述寫操作。