[發(fā)明專(zhuān)利]一種重復(fù)數(shù)據(jù)處理技術(shù)

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201310378916.6
• 申請(qǐng)日: 2013-08-28
• 公開(kāi)（公告）號(hào): CN103473278A
• 公開(kāi)（公告）日: 2013-12-25
• 發(fā)明（設(shè)計(jì)）人: 曹峰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘇州天永備網(wǎng)絡(luò)科技有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30;G06F11/14
• 代理公司: 南京經(jīng)緯專(zhuān)利商標(biāo)代理有限公司 32200
• 代理人: 曹毅

1.一種重復(fù)數(shù)據(jù)處理技術(shù)，其特征在于，包括兩種方法分別為：靜態(tài)的切分文件和動(dòng)態(tài)的切分文件，所述靜態(tài)的切分文件是將文件按照固定大小來(lái)切分，所述動(dòng)態(tài)的切分文件包括以下步驟：

步驟1）按照一定的算法來(lái)查找數(shù)據(jù)塊的邊界位置；

步驟2）解決數(shù)據(jù)指紋，即將文件切割成多個(gè)小模塊后，需要給每個(gè)小數(shù)據(jù)塊計(jì)算出數(shù)據(jù)指紋；

步驟3）用數(shù)據(jù)指紋來(lái)判斷兩個(gè)數(shù)據(jù)塊是否相同；在查找數(shù)據(jù)塊，由于數(shù)據(jù)塊數(shù)量眾多，采用基于函數(shù)形式的HASH查找方法，可以有效縮短查找時(shí)間；?

步驟4）將相同數(shù)據(jù)塊存儲(chǔ)一份，并存儲(chǔ)相同數(shù)據(jù)塊的索引值，以便恢復(fù)時(shí)所用。

2.根據(jù)權(quán)利要求1所述的重復(fù)數(shù)據(jù)處理技術(shù)，其特征在于，所述動(dòng)態(tài)的切分文件中的計(jì)算數(shù)據(jù)塊指紋采用了弱校驗(yàn)值和SHA1算法來(lái)計(jì)算數(shù)據(jù)塊指紋。

3.根據(jù)權(quán)利要求2所述的重復(fù)數(shù)據(jù)處理技術(shù)，其特征在于，所述弱校驗(yàn)值是計(jì)算每個(gè)數(shù)據(jù)塊的循環(huán)冗余值，所述算法比較簡(jiǎn)單，當(dāng)循環(huán)冗余值不同時(shí)，可以判斷這兩個(gè)數(shù)據(jù)塊不同，當(dāng)循環(huán)冗余值相同時(shí)，不能判斷這兩個(gè)數(shù)據(jù)塊是否相同，我們需要用所述SHA1算法來(lái)計(jì)算這兩個(gè)數(shù)據(jù)塊的值，即當(dāng)兩個(gè)數(shù)據(jù)塊完全相同時(shí)，經(jīng)SHA1計(jì)算后所得到的160位值相同，反之不同。