[發明專利]用于數據去重的方法和設備

在審

• 申請號: 201611193455.5
• 申請日: 2016-12-21
• 公開（公告）號: CN108228083A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 吳飛;鄒勇;肖林;葉誠;吳鵬
• 申請（專利權）人: 伊姆西IP控股有限責任公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

1.一種數據去重的方法，包括：

響應于在客戶端處接收到待備份的數據，對所述待備份的數據采樣以得到采樣數據；

生成用于所述采樣數據的簽名；

向包括多個存儲節點的存儲集群中的主存儲節點發送所述簽名，以允許所述主存儲節點從所述多個存儲節點中選擇一個存儲節點；

從所述主存儲節點接收所選擇的存儲節點的指示；以及

基于所述指示向所述所選擇的目標存儲節點發送所述待備份的數據。

2.根據權利要求1所述的方法，其中所述多個存儲節點以固定長度的分段來存儲數據，并且對所述待備份的數據采樣包括：

基于所述固定長度對所述待備份的數據進行分段以得到多個數據段；以及

對所述多個數據段采樣以得到多個采樣數據段。

3.根據權利要求1所述的方法，其中所述多個存儲節點以可變長度的分段來存儲數據，并且對所述待備份的數據采樣包括執行以下一次或多次：

隨機地選擇用于所述采樣的起始位置；

從所述起始位置起，以與所述可變長度相對應的模式來識別所述待備份的數據的預定數目的錨點；以及

采樣緊隨所述錨點的數據段作為采樣數據段。

4.根據權利要求2或3所述的方法，其中對所述采樣數據生成簽名包括對所述采樣數據段進行數字簽名以獲得指紋，并且

其中向所述主存儲節點發送所述簽名包括向所述主存儲節點發送所述指紋。

5.根據權利要求1所述的方法，其中對所述待備份的數據采樣包括：

響應于所述待備份的數據的大小低于第一預定閾值，對所述待備份的數據進行分段以得到多個數據段作為所述采樣數據。

6.根據權利要求5所述的方法，其中對所述采樣數據生成簽名包括：

對所述多個數據段進行數字簽名以獲得與所述多個數據段相對應的多個指紋；以及

確定所述多個指紋中指紋值為預定值的第一指紋。

7.根據權利要求2或3所述的方法，還包括：

從所述主存儲節點接收用于進行附加數據采樣的附加指示；

基于所述附加指示，對所述待備份的數據進行附加采樣以得到附加采樣數據；

生成用于所述附加采樣數據的附加簽名；以及

向所述主存儲節點發送所述附加簽名。

8.一種數據去重的方法，所述方法包括：

在包括多個存儲節點的存儲集群中的主存儲節點處接收來自客戶端的針對采樣數據的簽名，所述采樣數據是所述客戶端對待備份的數據進行采樣而得到；

向所述存儲集群中除所述主存儲節點外的從存儲節點分發所述簽名，以允許所述從存儲節點確定指示所述采樣數據與所述從存儲節點中所存儲數據的匹配度的遠程匹配信息；

基于所述簽名，確定指示所述采樣數據與所述主存儲節點中存儲的數據的匹配度的本地匹配信息；

至少基于所述本地匹配信息和所述從存儲節點反饋的所述遠程匹配信息，從所述多個存儲節點中選擇一個存儲節點以存儲所述待備份的數據；以及

向所述客戶端發送所選擇的目標存儲節點的第一指示。

9.根據權利要求8所述的方法，其中向所述從存儲節點分發所述簽名包括：

響應于接收到來自所述客戶端的采樣數據段的指紋，向所述從存儲節點分發所述指紋，所述采樣數據段是對所述待備份的數據分段采樣而得到，所述指紋是對所述采樣數據段進行數字簽名而得到。

10.根據權利要求8所述的方法，其中所述匹配度指示所述采樣數據與所述多個存儲節點中所存儲數據的相似度，并且選擇所述目標存儲節點包括：

將所述相似度大于第二預定閾值的一個存儲節點選擇為所述目標存儲節點。