[發(fā)明專利]重復(fù)數(shù)據(jù)刪除方法和裝置

有效

• 申請?zhí)枺?/td>: 201110380773.3
• 申請日: 2011-11-25
• 公開（公告）號: CN103150260A
• 公開（公告）日: 2013-06-12
• 發(fā)明（設(shè)計）人: 付旭東;徐君
• 申請（專利權(quán)）人: 華為數(shù)字技術(shù)（成都）有限公司
• 主分類號: G06F12/06
• 分類號: G06F12/06
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 劉芳

1.一種重復(fù)數(shù)據(jù)刪除方法，其特征在于，包括：

對待存儲文件進(jìn)行分塊處理，計算分塊處理結(jié)果中各分塊的指紋；

對所述各分塊的指紋進(jìn)行抽樣處理，并根據(jù)抽取到的指紋生成所述待存儲文件的指紋抽樣表；

根據(jù)指紋抽樣表和分組抽樣庫，確定所述待存儲文件在所述分組抽樣庫中所屬的相似分組；

根據(jù)指紋庫中與所述相似分組對應(yīng)的指紋分組中的指紋數(shù)據(jù)，對所述待存儲文件進(jìn)行重復(fù)數(shù)據(jù)刪除；

其中，所述分組抽樣庫由至少一個抽樣分組構(gòu)成，所述指紋庫由至少一個指紋分組構(gòu)成，所述分組抽樣庫中的各抽樣分組與所述指紋庫中的各指紋分組一一對應(yīng)，所述相似分組為所述分組抽樣庫中與所述待存儲文件的指紋抽樣表中的抽樣指紋相匹配的一個抽樣分組。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述各分塊的指紋進(jìn)行抽樣處理，并根據(jù)抽取到的指紋生成所述待存儲文件的指紋抽樣表，包括：

根據(jù)所述待存儲文件的文件特征，確定抽樣因子，所述文件特征包括所述待存儲文件的文件規(guī)模和分塊數(shù)量；

根據(jù)設(shè)定的抽樣條件，利用所述抽樣因子對所述待存儲文件的所有分塊的指紋進(jìn)行抽樣處理；

將抽樣結(jié)果中的各分塊的指紋加入所述待存儲文件的指紋抽樣表中。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)指紋抽樣表和分組抽樣庫，確定所述待存儲文件在所述分組抽樣庫中所屬的相似分組，包括：

當(dāng)所述指紋抽樣表為空時，確定所述待存儲文件在所述分組抽樣庫中所屬的相似分組為分組抽樣庫中的預(yù)設(shè)分組；

當(dāng)所述指紋抽樣表不為空時，將所述指紋抽樣表中的各指紋與分組抽樣庫進(jìn)行匹配處理；根據(jù)匹配結(jié)果，確定所述待存儲文件在所述分組抽樣庫中所屬的相似分組。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)匹配結(jié)果，確定所述待存儲文件在所述分組抽樣庫中所屬的相似分組，包括：

若所述分組抽樣庫的容量已達(dá)到容量上限，確定所述待存儲文件在所述分組抽樣庫中所屬的相似分組為，所述分組抽樣庫中與所述指紋抽樣表中的各指紋相似度最高的分組；

若所述分組抽樣庫的容量未達(dá)到容量上限，且當(dāng)所述指紋抽樣表中的各指紋與所述分組抽樣庫中一個抽樣分組的指紋相似度大于或等于預(yù)設(shè)的相似度閾值時，確定所述待存儲文件在所述分組抽樣庫中所屬的相似分組為所述抽樣分組；

若所述分組抽樣庫的容量未達(dá)到容量上限，且當(dāng)所述指紋抽樣表中的各指紋與所述分組抽樣庫中的所有分組的指紋相似度均小于預(yù)設(shè)的相似度閾值時，在所述分組抽樣庫中建立一個新建分組，確定所述待存儲文件在所述分組抽樣庫中所屬的相似分組為所述新建分組，并將所述待存儲文件的指紋抽樣表中的指紋保存到所述新建分組中。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)所述待存儲文件為待存儲的第一個文件時，所述根據(jù)指紋抽樣表和分組抽樣庫，確定所述待存儲文件在所述分組抽樣庫中所屬的相似分組，具體為：

在所述分組抽樣庫中建立一個新建分組，確定所述待存儲文件在所述分組抽樣庫中所屬的相似分組為所述新建分組，并將所述待存儲文件的指紋抽樣表中的指紋保存到所述新建分組中。

6.一種重復(fù)數(shù)據(jù)刪除裝置，其特征在于，包括：

分塊模塊，用于對待存儲文件進(jìn)行分塊處理，計算分塊處理結(jié)果中各分塊的指紋；

抽樣模塊，用于對所述各分塊的指紋進(jìn)行抽樣處理，并根據(jù)抽取到的指紋生成所述待存儲文件的指紋抽樣表；

分組模塊，用于根據(jù)指紋抽樣表和分組抽樣庫，確定所述待存儲文件在所述分組抽樣庫中所屬的相似分組；

重復(fù)數(shù)據(jù)刪除模塊，用于根據(jù)指紋庫中與所述相似分組對應(yīng)的指紋分組中的指紋數(shù)據(jù)，對所述待存儲文件進(jìn)行重復(fù)數(shù)據(jù)刪除；

其中，所述分組抽樣庫由至少一個抽樣分組構(gòu)成，所述指紋庫由至少一個指紋分組構(gòu)成，所述分組抽樣庫中的各抽樣分組與所述指紋庫中的各指紋分組一一對應(yīng)，所述相似分組為所述分組抽樣庫中與所述待存儲文件的指紋抽樣表中的抽樣指紋相匹配的一個抽樣分組。