[發(fā)明專利]一種重復(fù)數(shù)據(jù)處理技術(shù)

無效

• 申請?zhí)枺?/td>: 201310378916.6
• 申請日: 2013-08-28
• 公開（公告）號: CN103473278A
• 公開（公告）日: 2013-12-25
• 發(fā)明（設(shè)計(jì)）人: 曹峰
• 申請（專利權(quán)）人: 蘇州天永備網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/14
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 曹毅

技術(shù)領(lǐng)域

本發(fā)明涉及報警系統(tǒng)，具體涉及一種重復(fù)數(shù)據(jù)處理技術(shù)。?

背景技術(shù)

當(dāng)今企業(yè)對信息的存儲需求正在飛速地增長,信息的采集與處理已成為決定企業(yè)生存與發(fā)展的關(guān)鍵技術(shù)因素之一。與此同時,信息系統(tǒng)中的數(shù)據(jù)的可靠性和安全性也受到了越來越多的重視,其中數(shù)據(jù)容災(zāi)系統(tǒng)就是保障數(shù)據(jù)安全的一種有效技術(shù)手段。特別是911恐怖襲擊以及東南亞海嘯,以及不久前發(fā)生在中國的南方的雪災(zāi)和汶川地震,這些災(zāi)難性事件使得企業(yè)有一條共同的主線,那就是建立異地容災(zāi)系統(tǒng)以保證業(yè)務(wù)的連續(xù)性。容災(zāi)系統(tǒng)是根據(jù)當(dāng)前的技術(shù)發(fā)展趨勢及保證數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性而提出的。因?yàn)榧彼僭鲩L的數(shù)據(jù)量給災(zāi)備系統(tǒng)帶來的最直觀的問題是存儲空間不足,同時也給系統(tǒng)的處理能力、數(shù)據(jù)傳輸帶寬帶來了巨大壓力,所以為了保障容災(zāi)系統(tǒng)高效穩(wěn)定地運(yùn)行,需要建立一個存儲容量優(yōu)化機(jī)制來減少數(shù)據(jù)對存儲容量的需求。在深入研究容災(zāi)備份中存儲容量優(yōu)化技術(shù)的基礎(chǔ)上,對重復(fù)數(shù)據(jù)刪除技術(shù)進(jìn)行了一定的技術(shù)改進(jìn),實(shí)現(xiàn)了高質(zhì)量的存儲。?

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的問題，提供一種重復(fù)數(shù)據(jù)處理技術(shù)。?

為實(shí)現(xiàn)上述技術(shù)目的，達(dá)到上述技術(shù)效果，本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)：?

一種重復(fù)數(shù)據(jù)處理技術(shù)，包括兩種方法分別為：靜態(tài)的切分文件和動態(tài)的切分文件，所述靜態(tài)的切分文件是將文件按照固定大小來切分，所述動態(tài)的切分文件包括以下步驟：

步驟1）按照一定的算法來查找數(shù)據(jù)塊的邊界位置；

步驟2）解決數(shù)據(jù)指紋，即將文件切割成多個小模塊后，需要給每個小數(shù)據(jù)塊計(jì)算出數(shù)據(jù)指紋；

步驟3）用數(shù)據(jù)指紋來判斷兩個數(shù)據(jù)塊是否相同；在查找數(shù)據(jù)塊，由于數(shù)據(jù)塊數(shù)量眾多，采用基于函數(shù)形式的HASH查找方法，可以有效縮短查找時間；?

步驟4）將相同數(shù)據(jù)塊存儲一份，并存儲相同數(shù)據(jù)塊的索引值，以便恢復(fù)時所用。

進(jìn)一步的，所述動態(tài)的切分文件中的計(jì)算數(shù)據(jù)塊指紋采用了弱校驗(yàn)值和SHA1算法來計(jì)算數(shù)據(jù)塊指紋。?

進(jìn)一步的，所述弱校驗(yàn)值是計(jì)算每個數(shù)據(jù)塊的循環(huán)冗余值，所述算法比較簡單，當(dāng)循環(huán)冗余值不同時，可以判斷這兩個數(shù)據(jù)塊不同，當(dāng)循環(huán)冗余值相同時，不能判斷這兩個數(shù)據(jù)塊是否相同，我們需要用所述SHA1算法來計(jì)算這兩個數(shù)據(jù)塊的值，即當(dāng)兩個數(shù)據(jù)塊完全相同時，經(jīng)SHA1計(jì)算后所得到的160位值相同，反之不同。?

本發(fā)明的有益效果:?

本發(fā)明技術(shù)方案，可以減少數(shù)據(jù)對存儲容量的需求，同時在深入研究容災(zāi)備份中存儲容量優(yōu)化技術(shù)的基礎(chǔ)上，對重復(fù)數(shù)據(jù)刪除技術(shù)進(jìn)行了一定的技術(shù)改進(jìn)，實(shí)現(xiàn)了高質(zhì)量的存儲。

附圖說明

圖1是本發(fā)明的數(shù)據(jù)優(yōu)化前和數(shù)據(jù)優(yōu)化后的對比圖；?

圖2為本發(fā)明的具體實(shí)現(xiàn)方式示意圖。

具體實(shí)施方式

下面將參考附圖并結(jié)合實(shí)施例，來詳細(xì)說明本發(fā)明。?

參照圖2所示，一種重復(fù)數(shù)據(jù)處理技術(shù)，包括兩種方法分別為：靜態(tài)的切分文件和動態(tài)的切分文件，所述靜態(tài)的切分文件是將文件按照固定大小來切分，所述動態(tài)的切分文件包括以下步驟：?

步驟1）按照一定的算法來查找數(shù)據(jù)塊的邊界位置；

步驟2）解決數(shù)據(jù)指紋，即將文件切割成多個小模塊后，需要給每個小數(shù)據(jù)塊計(jì)算出數(shù)據(jù)指紋；

步驟3）用數(shù)據(jù)指紋來判斷兩個數(shù)據(jù)塊是否相同；在查找數(shù)據(jù)塊，由于數(shù)據(jù)塊數(shù)量眾多，采用基于函數(shù)形式的HASH查找方法，可以有效縮短查找時間；?

步驟4）將相同數(shù)據(jù)塊存儲一份，并存儲相同數(shù)據(jù)塊的索引值，以便恢復(fù)時所用。

進(jìn)一步的，所述動態(tài)的切分文件中的計(jì)算數(shù)據(jù)塊指紋采用了弱校驗(yàn)值和SHA1算法來計(jì)算數(shù)據(jù)塊指紋。?

進(jìn)一步的，所述弱校驗(yàn)值是計(jì)算每個數(shù)據(jù)塊的循環(huán)冗余值，所述算法比較簡單，當(dāng)循環(huán)冗余值不同時，可以判斷這兩個數(shù)據(jù)塊不同，當(dāng)循環(huán)冗余值相同時，不能判斷這兩個數(shù)據(jù)塊是否相同，我們需要用所述SHA1算法來計(jì)算這兩個數(shù)據(jù)塊的值，即當(dāng)兩個數(shù)據(jù)塊完全相同時，經(jīng)SHA1計(jì)算后所得到的160位值相同，反之不同。?

本發(fā)明的原理：?

將一個文件切割成多個小數(shù)據(jù)段，利用一定的算法來計(jì)算這些小數(shù)據(jù)塊的數(shù)據(jù)指紋，若數(shù)據(jù)指紋相同則說明這兩個數(shù)據(jù)塊內(nèi)容相同，否則兩個小數(shù)據(jù)塊的內(nèi)容就不同，在存儲的時候，我們只需存儲相同數(shù)據(jù)塊的一份，存儲的塊稱為元數(shù)據(jù)塊，為了恢復(fù)成原始數(shù)據(jù)，我們還需要存儲相同數(shù)據(jù)塊在原數(shù)據(jù)中的索引值。

以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。?