[發(fā)明專利]重復(fù)數(shù)據(jù)刪除方法

無效

• 申請?zhí)枺?/td>: 201110330421.7
• 申請日: 2011-10-27
• 公開（公告）號: CN102323958A
• 公開（公告）日: 2012-01-18
• 發(fā)明（設(shè)計(jì)）人: 安然;談川玉;盧寶豐
• 申請（專利權(quán)）人: 上海文廣互動(dòng)電視有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海唯源專利代理有限公司 31229
• 代理人: 曾耀先

1.一種重復(fù)數(shù)據(jù)刪除方法，其特征在于，包括以下步驟：

寫入文件，對所述文件進(jìn)行變長分塊，形成不同長度的復(fù)數(shù)個(gè)數(shù)據(jù)塊并計(jì)算所述數(shù)據(jù)塊的哈希值；

通過對所述哈希值進(jìn)行抽樣，形成所述文件的抽樣數(shù)據(jù)；

通過比較所述文件的抽樣數(shù)據(jù)與現(xiàn)有文件的抽樣數(shù)據(jù)，定位所述文件的一相似性組；

通過比較所述文件的哈希值和一元數(shù)據(jù)庫中所述相似性組的哈希值，確定重復(fù)數(shù)據(jù)塊；

去重保存非重復(fù)數(shù)據(jù)塊；

生成元文件，并將所述非重復(fù)數(shù)據(jù)塊的哈希值保存至所述元數(shù)據(jù)庫中。

2.根據(jù)權(quán)利要求1所述的重復(fù)數(shù)據(jù)刪除方法，其特征在于，所述變長分塊采用滑動(dòng)窗口技術(shù)，根據(jù)文件內(nèi)容進(jìn)行數(shù)據(jù)切分。

3.根據(jù)權(quán)利要求2所述的重復(fù)數(shù)據(jù)刪除方法，其特征在于，當(dāng)計(jì)算所述數(shù)據(jù)塊的哈希值時(shí)，通過所述滑動(dòng)窗口技術(shù)中一滑動(dòng)窗口滑動(dòng)前的哈希值，滑入字節(jié)值和滑出字節(jié)值計(jì)算所述滑動(dòng)窗口滑動(dòng)后的內(nèi)部字節(jié)數(shù)組的哈希值。

4.根據(jù)權(quán)利要求1所述的重復(fù)數(shù)據(jù)刪除方法，其特征在于，當(dāng)計(jì)算所述數(shù)據(jù)塊的哈希值時(shí)，限定一所述數(shù)據(jù)塊大小的最小值，從所述數(shù)據(jù)塊頭部最小值區(qū)間內(nèi)的數(shù)據(jù)不進(jìn)行哈希值計(jì)算。

5.根據(jù)權(quán)利要求1所述的重復(fù)數(shù)據(jù)刪除方法，其特征在于，當(dāng)在比較所述文件的抽樣數(shù)據(jù)與現(xiàn)有文件的抽樣數(shù)據(jù)時(shí)，若所述文件的抽樣數(shù)據(jù)與當(dāng)前現(xiàn)有文件的抽樣數(shù)據(jù)的相似度超過一定數(shù)值，則確定當(dāng)前現(xiàn)有文件的抽樣數(shù)據(jù)對應(yīng)的數(shù)據(jù)組為所述文件的一相似性組。

6.根據(jù)權(quán)利要求1所述的重復(fù)數(shù)據(jù)刪除方法，其特征在于，所述數(shù)據(jù)塊按照似性組分組保存。

7.根據(jù)權(quán)利要求1所述的重復(fù)數(shù)據(jù)刪除方法，其特征在于，所述元文件是原文件的數(shù)據(jù)描述，包含了原文件的各項(xiàng)文件屬性等內(nèi)容，并記錄了原文件各數(shù)據(jù)塊的存放位置。

8.根據(jù)權(quán)利要求1所述的重復(fù)數(shù)據(jù)刪除方法，其特征在于，當(dāng)系統(tǒng)收到一讀寫請求時(shí)，進(jìn)一步包括以下步驟：

判斷目標(biāo)文件是否為經(jīng)過重刪操作的文件；

若所述目標(biāo)文件未經(jīng)過重刪操作，直接讀寫所述目標(biāo)文件；

若所述目標(biāo)文件經(jīng)過重刪操作，則對所述目標(biāo)文件的元文件進(jìn)行解析，定位讀寫請求的目標(biāo)數(shù)據(jù)塊；

完成讀寫等操作。

9.根據(jù)權(quán)利要求1所述的重復(fù)數(shù)據(jù)刪除方法，其特征在于，所述去重步驟的周期可調(diào)。