[發(fā)明專(zhuān)利]一種應(yīng)用于云存儲(chǔ)重復(fù)數(shù)據(jù)刪除的數(shù)據(jù)塊合并方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201410104776.8
• 申請(qǐng)日: 2014-03-20
• 公開(kāi)（公告）號(hào): CN103914522A
• 公開(kāi)（公告）日: 2014-07-09
• 發(fā)明（設(shè)計(jì)）人: 李玉軍;羅四維;侯孟書(shū);牛新征;詹思瑜
• 申請(qǐng)（專(zhuān)利權(quán)）人: 電子科技大學(xué)
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 成都金英專(zhuān)利代理事務(wù)所(普通合伙) 51218
• 代理人: 袁英

技術(shù)領(lǐng)域

本發(fā)明涉及一種應(yīng)用于云存儲(chǔ)重復(fù)數(shù)據(jù)刪除的數(shù)據(jù)塊合并方法。

背景技術(shù)

云存儲(chǔ)是在云計(jì)算(cloud?computing)概念上延伸和發(fā)展出來(lái)的一個(gè)新的概念，是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類(lèi)型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪(fǎng)問(wèn)功能的一個(gè)系統(tǒng)。?當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲(chǔ)和管理時(shí)，云計(jì)算系統(tǒng)中就需要配置大量的存儲(chǔ)設(shè)備，那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個(gè)云存儲(chǔ)系統(tǒng)，所以云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)。

隨著云計(jì)算的發(fā)展，云存儲(chǔ)技術(shù)通過(guò)集群應(yīng)用、虛擬化技術(shù)、分布式文件系統(tǒng)等功能將網(wǎng)絡(luò)中大量各種不同類(lèi)型的存儲(chǔ)設(shè)備集合起來(lái)協(xié)同工作，緩解了老式數(shù)據(jù)中心的存儲(chǔ)壓力。??另外，重復(fù)數(shù)據(jù)刪除技術(shù)是一種縮減存儲(chǔ)空間減少網(wǎng)絡(luò)傳輸量的技術(shù)，隨著云的廣泛應(yīng)用也勢(shì)必會(huì)發(fā)展應(yīng)用于云存儲(chǔ)中，這兩種技術(shù)結(jié)合將會(huì)給IT存儲(chǔ)業(yè)帶來(lái)實(shí)際效益。

重復(fù)數(shù)據(jù)刪除技術(shù)是一種數(shù)據(jù)縮減技術(shù)，通常用于基于磁盤(pán)的備份系統(tǒng)，旨在減少存儲(chǔ)系統(tǒng)中使用的存儲(chǔ)容量，它的工作方式是在某個(gè)時(shí)間周期內(nèi)查找不同文件中不同位置的重復(fù)可變大小數(shù)據(jù)塊，重復(fù)的數(shù)據(jù)塊用指示符取代。高度冗余的數(shù)據(jù)集從數(shù)據(jù)重復(fù)刪除技術(shù)的獲益極大；用戶(hù)可以實(shí)現(xiàn)10比1至50比1的縮減比。而且，重復(fù)數(shù)據(jù)刪除技術(shù)可以允許用戶(hù)的不同站點(diǎn)之間進(jìn)行高效、經(jīng)濟(jì)的備份數(shù)據(jù)復(fù)制。

備份設(shè)備中總是充斥著大量的冗余數(shù)據(jù)。為了解決這個(gè)問(wèn)題，節(jié)省更多空間，“重復(fù)刪除”技術(shù)便順理成章地成了人們關(guān)注的焦點(diǎn)。采用“重復(fù)刪除”技術(shù)可以將存儲(chǔ)的數(shù)據(jù)縮減為原來(lái)的1/20，從而讓出更多的備份空間，不僅可以使磁盤(pán)上的備份數(shù)據(jù)保存更長(zhǎng)的時(shí)間，而且還可以節(jié)約離線(xiàn)存儲(chǔ)時(shí)所需的大量的帶寬。

重復(fù)數(shù)據(jù)刪除技術(shù)支持在已有的磁盤(pán)設(shè)備上存儲(chǔ)更多的備份數(shù)據(jù)。因此采用“重復(fù)數(shù)據(jù)刪除”技術(shù)可以增加保存?zhèn)浞輸?shù)據(jù)的時(shí)間，減少數(shù)據(jù)中心的消耗，降低成本。如果刪除重復(fù)數(shù)據(jù)后再通過(guò)WAN發(fā)送，那么就能夠節(jié)省大量的帶寬，并且可以取代磁帶實(shí)現(xiàn)網(wǎng)上離線(xiàn)備份。重復(fù)數(shù)據(jù)刪除技術(shù)唯一的缺點(diǎn)是備份速度變慢。

目前，執(zhí)行重復(fù)數(shù)據(jù)刪除的基本方法有三種。第一種是基于散列（hash）的方法，Data?Domain、飛康、昆騰的DXi系列設(shè)備都是采用SHA-1,?MD-5?等類(lèi)似的算法將這些進(jìn)行備份的數(shù)據(jù)流斷成塊并且為每個(gè)數(shù)據(jù)塊生成一個(gè)散列（hash）。如果新數(shù)據(jù)塊的散列（hash）與備份設(shè)備上散列索引中的一個(gè)散列匹配，表明該數(shù)據(jù)已經(jīng)被備份，設(shè)備只更新它的表，以說(shuō)明在這個(gè)新位置上也存在該數(shù)據(jù)；第二種方法是基于內(nèi)容識(shí)別的重復(fù)刪除，這種方法主要是識(shí)別記錄的數(shù)據(jù)格式。它采用內(nèi)嵌在備份數(shù)據(jù)中的文件系統(tǒng)的元數(shù)據(jù)識(shí)別文件；然后與其數(shù)據(jù)存儲(chǔ)庫(kù)中的其它版本進(jìn)行逐字節(jié)地比較，找到該版本與第一個(gè)已存儲(chǔ)的版本的不同之處并為這些不同的數(shù)據(jù)創(chuàng)建一個(gè)增量文件；第三種方法是Diligent?Technologies，它像基于散列（hash）的產(chǎn)品那樣將數(shù)據(jù)分成塊，并且采用自有的算法決定給定的數(shù)據(jù)塊是否與其它的相似，然后與相似塊中的數(shù)據(jù)進(jìn)行逐字節(jié)的比較，以判斷該數(shù)據(jù)塊是否已經(jīng)被備份。

按照部署位置的不同，重復(fù)數(shù)據(jù)刪除可分為源端重復(fù)數(shù)據(jù)刪除和目標(biāo)端重復(fù)數(shù)據(jù)刪除。源端重復(fù)數(shù)據(jù)刪除是先刪除重復(fù)數(shù)據(jù)，再將數(shù)據(jù)傳到備份設(shè)備。目標(biāo)端重復(fù)數(shù)據(jù)刪除是先將數(shù)據(jù)傳到備份設(shè)備，存儲(chǔ)時(shí)再刪除重復(fù)數(shù)據(jù)。

按照檢查重復(fù)數(shù)據(jù)的算法不同，重復(fù)數(shù)據(jù)刪除可以分為對(duì)象/文件級(jí)和塊級(jí)的重復(fù)數(shù)據(jù)刪除。對(duì)象級(jí)的重復(fù)數(shù)據(jù)刪除保證文件不重復(fù)。塊級(jí)重復(fù)數(shù)據(jù)刪除則將文件分成數(shù)據(jù)塊進(jìn)行比較。

根據(jù)應(yīng)用場(chǎng)合的不同，可以分為通用型重復(fù)數(shù)據(jù)刪除系統(tǒng)和專(zhuān)用型重復(fù)數(shù)據(jù)刪除系統(tǒng)。通用型重復(fù)數(shù)據(jù)刪除系統(tǒng)是指廠商提供通用的重復(fù)數(shù)據(jù)刪除產(chǎn)品，而不是和特定虛擬磁帶庫(kù)或備份設(shè)備相聯(lián)系。專(zhuān)用型重復(fù)數(shù)據(jù)刪除系統(tǒng)是和特定虛擬磁帶或備份設(shè)備相聯(lián)系，一般采取目標(biāo)端重復(fù)數(shù)刪除方式。

隨著云計(jì)算日益發(fā)展，云存儲(chǔ)和備份服務(wù)漸漸地被工業(yè)界和學(xué)術(shù)界所重視。在云存儲(chǔ)中，數(shù)據(jù)量每天以指數(shù)型地增長(zhǎng)，這也給數(shù)據(jù)中心的存儲(chǔ)系統(tǒng)和設(shè)備帶來(lái)了巨大的沖擊和挑戰(zhàn)。而數(shù)據(jù)刪除技術(shù)則能夠有效地減少存儲(chǔ)系統(tǒng)的負(fù)擔(dān)，提高網(wǎng)絡(luò)的帶寬利用率，節(jié)約消耗。

而如今的數(shù)據(jù)刪除技術(shù)多是針對(duì)各種大小的數(shù)據(jù)塊，并將各種子數(shù)據(jù)塊合并為大型數(shù)據(jù)塊從而來(lái)提高存儲(chǔ)容量和帶寬利用率，但是鮮有人考慮到合并數(shù)據(jù)塊過(guò)程中的開(kāi)銷(xiāo)。

發(fā)明內(nèi)容