[發(fā)明專利]一種適用于海量存儲(chǔ)系統(tǒng)的重復(fù)數(shù)據(jù)刪除方法

無效

• 申請(qǐng)?zhí)枺?/td>: 201210452830.9
• 申請(qǐng)日: 2012-11-13
• 公開（公告）號(hào): CN102982122A
• 公開（公告）日: 2013-03-20
• 發(fā)明（設(shè)計(jì)）人: 梁吉林
• 申請(qǐng)（專利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種適用于海量存儲(chǔ)系統(tǒng)的重復(fù)數(shù)據(jù)刪除方法,?其特征在于使用4KB-8KB的塊大小對(duì)數(shù)據(jù)流進(jìn)行分塊，這樣極小的塊就能夠確保極高的重復(fù)數(shù)據(jù)刪除率，能夠較精確的進(jìn)行重復(fù)數(shù)據(jù)的定位刪除；而針對(duì)HDD磁盤與內(nèi)存RAM之間數(shù)據(jù)傳輸率的差異而導(dǎo)致的性能影響，通過使用SSD重新構(gòu)建存儲(chǔ)的架構(gòu)，作為RAM與RAID陣列之間的中轉(zhuǎn)，這樣不僅能夠提高檢索的速率，而且也提高了數(shù)據(jù)的存儲(chǔ)速率，在新的數(shù)據(jù)塊Hash值到來需要進(jìn)行驗(yàn)證的時(shí)候，RAM讀取存儲(chǔ)在SSD中的Hash索引，以SSD比HDD高出3倍的實(shí)際數(shù)據(jù)傳輸速率，便得系統(tǒng)的性能得到保證，使用4KB-8KB的小塊所產(chǎn)生的相對(duì)較大的Hash索引表所引起的性能問題也能夠得到解決，針對(duì)重復(fù)數(shù)據(jù)刪除比以及重復(fù)數(shù)據(jù)刪除精確度低的問題，使用Hash值和數(shù)據(jù)指紋的雙重校驗(yàn)，以確保最大程度上的重復(fù)數(shù)據(jù)刪除精確度，因?yàn)槭褂肧SD作為中間點(diǎn)，保障了I/O速率，因此在雙重驗(yàn)證的情況下，也不會(huì)影響系統(tǒng)的性能，具體步驟如下：

1）接收到所要進(jìn)行存儲(chǔ)的數(shù)據(jù)流；

2）傳送至Dedupe?System模塊；

3）數(shù)據(jù)流按照指定的4KB-8KB大小的塊進(jìn)行截?cái)喾纸猓?/p>

4）計(jì)算數(shù)據(jù)塊的Hash值；

5）計(jì)算數(shù)據(jù)塊的數(shù)據(jù)指紋；

6）讀取SSD中存儲(chǔ)的Hash索引表；

7）判別Hash值與Hash索引表中是否重復(fù)；

A.重復(fù)，（1）讀取數(shù)據(jù)指紋索引表，繼續(xù)判定數(shù)據(jù)指紋；（2）數(shù)據(jù)指紋重復(fù)，建立數(shù)據(jù)連接，數(shù)據(jù)塊不進(jìn)行存儲(chǔ)；（3）數(shù)據(jù)指紋不重復(fù)，存儲(chǔ)數(shù)據(jù)塊到SSD，存儲(chǔ)數(shù)據(jù)塊Hash值至SSD中的Hash索引表，存儲(chǔ)數(shù)據(jù)塊的數(shù)據(jù)指紋至SSD中的數(shù)據(jù)指紋索引表；

B.不重復(fù)，（1）存儲(chǔ)數(shù)據(jù)塊至SSD，存儲(chǔ)數(shù)據(jù)塊Hash值至SSD中的Hash索引表，存儲(chǔ)數(shù)據(jù)塊的數(shù)據(jù)指紋至SSD中的數(shù)據(jù)指紋索引表；（2）將存儲(chǔ)于SSD中的數(shù)據(jù)塊傳送到RAID陣列磁盤中進(jìn)行存儲(chǔ)。