[發(fā)明專利]分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)及其方法

無效

• 申請?zhí)枺?/td>: 201110461322.2
• 申請日: 2011-12-28
• 公開（公告）號: CN103186652A
• 公開（公告）日: 2013-07-03
• 發(fā)明（設(shè)計）人: 王輝;陳志豐
• 申請（專利權(quán)）人: 英業(yè)達(dá)股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/14;H04L29/08
• 代理公司: 北京律誠同業(yè)知識產(chǎn)權(quán)代理有限公司 11006
• 代理人: 梁揮;祁建國

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)處理系統(tǒng)及其方法，特別是涉及一種分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)及其方法。

背景技術(shù)

隨著因特網(wǎng)的興起的緣故，因此許多網(wǎng)絡(luò)供應(yīng)者為能有效保存客戶端的文件，進(jìn)而在網(wǎng)絡(luò)上提供許多存放的空間。以往是由單一服務(wù)端提供網(wǎng)絡(luò)空間的存儲服務(wù)。請參考圖1A所示，其為現(xiàn)有技術(shù)的分布式存儲系統(tǒng)的架構(gòu)示意圖。然而，單一服務(wù)器的運算能力有限，因此演進(jìn)為多存儲服務(wù)器110以平行處理的方式來提供客戶端120的數(shù)據(jù)存儲服務(wù)，而這種存儲方式被稱為分布式存儲系統(tǒng)。但直接儲存的結(jié)果將會造成存儲系統(tǒng)中的空間浪費等問題。因此有人提出利用重復(fù)數(shù)據(jù)刪除處理來避免重復(fù)數(shù)據(jù)會占用大量的存儲空間。

請參考圖1B所示，其為現(xiàn)有技術(shù)的重復(fù)數(shù)據(jù)刪除的架構(gòu)示意圖。若有其它相同的數(shù)據(jù)時，則由派發(fā)服務(wù)器130將重復(fù)數(shù)據(jù)直接刪除，僅保留唯一的數(shù)據(jù)。對于被刪除的數(shù)據(jù)位置，則是派發(fā)服務(wù)器130通過映像連接的方式將此一數(shù)據(jù)位置的值映像至保留的數(shù)據(jù)。

一般而言，分布式存儲系統(tǒng)為能完整備份客戶端120的文件數(shù)據(jù)。所以會在不同存儲服務(wù)器中存儲相同的數(shù)據(jù)。但這樣的作法與重復(fù)數(shù)據(jù)刪除處理的出發(fā)點是完全背道而馳。

發(fā)明內(nèi)容

鑒于以上的問題，本發(fā)明在于提供一種分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)，用以存儲客戶端的所產(chǎn)生至少一切分?jǐn)?shù)據(jù)塊。

本發(fā)明所提供的分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)包括：至少一存儲服務(wù)器、客戶端與元數(shù)據(jù)服務(wù)器(Meta?data)。元數(shù)據(jù)服務(wù)器連接于存儲服務(wù)器與客戶端之間?？蛻舳藢⑤斎胛募\行重復(fù)數(shù)據(jù)刪除程序(de-duplication)，生成多個切分?jǐn)?shù)據(jù)塊(Data?block)與指紋特征值(Fingerprint)?？蛻舳擞谕瓿汕蟹?jǐn)?shù)據(jù)塊的處理后會發(fā)出儲存要求給元數(shù)據(jù)服務(wù)器，用以將切分?jǐn)?shù)據(jù)塊存儲至存儲服務(wù)器。元數(shù)據(jù)服務(wù)器(Metadata?Server)包括指紋特征查找表，指紋特征查找表用以記錄指紋特征值。元數(shù)據(jù)服務(wù)器在接獲儲存要求后，元數(shù)據(jù)服務(wù)器儲存切分?jǐn)?shù)據(jù)塊的指紋特征值并將切分?jǐn)?shù)據(jù)塊指派到存儲服務(wù)器中儲存。

元數(shù)據(jù)服務(wù)器根據(jù)指紋特征查找表判斷儲存要求的指紋特征值是否已經(jīng)存在。若指紋特征值不存在時，則元數(shù)據(jù)服務(wù)器將新的切分?jǐn)?shù)據(jù)塊指派到存儲服務(wù)器。元數(shù)據(jù)服務(wù)器根據(jù)客戶端對這些切分?jǐn)?shù)據(jù)塊的訪問頻率，并設(shè)定每一個切分?jǐn)?shù)據(jù)塊的備份數(shù)量。元數(shù)據(jù)服務(wù)器根據(jù)備份數(shù)量將切分?jǐn)?shù)據(jù)塊復(fù)制至其它不同的存儲服務(wù)器之中。

本發(fā)明另提出一種分布式的重復(fù)數(shù)據(jù)刪除方法包括以下步驟：客戶端接收輸入文件后產(chǎn)生切分?jǐn)?shù)據(jù)塊，且每一個切分?jǐn)?shù)據(jù)塊具有相應(yīng)的指紋特征值；元數(shù)據(jù)服務(wù)器判斷指紋特征值是否已經(jīng)存在于指紋特征查找表中；若指紋特征查找表中未存儲指紋特征值，則元數(shù)據(jù)服務(wù)器根據(jù)指紋特征值將相應(yīng)的切分?jǐn)?shù)據(jù)塊指派到存儲服務(wù)端中儲存；元數(shù)據(jù)服務(wù)器統(tǒng)計客戶端對切分?jǐn)?shù)據(jù)塊的訪問頻率；若切分?jǐn)?shù)據(jù)塊的訪問頻率符合門坎值時，則增加切分?jǐn)?shù)據(jù)塊的備份數(shù)量；元數(shù)據(jù)服務(wù)器根據(jù)備份數(shù)量將切分?jǐn)?shù)據(jù)塊復(fù)制至其它的存儲服務(wù)器。

本發(fā)明所提出的分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)與方法除了可以提供重復(fù)數(shù)據(jù)刪除的處理外，也可以依照切分?jǐn)?shù)據(jù)塊的訪問頻率調(diào)整所存在的備份數(shù)量。換言之，對于經(jīng)常存取的切分?jǐn)?shù)據(jù)塊會將其儲存在多臺不同的存儲服務(wù)器之中。這使得客戶端可以更快速的取得所需的切分?jǐn)?shù)據(jù)塊。

有關(guān)本發(fā)明的特征與實作，茲配合圖式作最佳實施例詳細(xì)說明如下。

附圖說明

圖1A為現(xiàn)有技術(shù)的分布式存儲系統(tǒng)的架構(gòu)示意圖；

圖1B為現(xiàn)有技術(shù)的重復(fù)數(shù)據(jù)刪除的架構(gòu)示意圖；

圖2為本發(fā)明的架構(gòu)示意圖；

圖3為本發(fā)明的運作流程示意圖。

其中，附圖標(biāo)記：

存儲服務(wù)器110

客戶端120

派發(fā)服務(wù)器130

客戶端210

存儲服務(wù)器220

元數(shù)據(jù)服務(wù)器230

備援服務(wù)器240

切分?jǐn)?shù)據(jù)塊250

具體實施方式

以下結(jié)合附圖和具體實施例對本發(fā)明進(jìn)行詳細(xì)描述，但不作為對本發(fā)明的限定。

本發(fā)明所提供的分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)包括：客戶端210、至少一存儲服務(wù)器220、元數(shù)據(jù)服務(wù)器230(Meta?data)與備援服務(wù)器240。請參考圖2所示，其為本發(fā)明的架構(gòu)示意圖。