[發(fā)明專利]一種實(shí)現(xiàn)重復(fù)數(shù)據(jù)數(shù)據(jù)刪除的方法和系統(tǒng)

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 200910136595.2
• 申請(qǐng)日: 2009-05-08
• 公開(kāi)（公告）號(hào): CN101882141A
• 公開(kāi)（公告）日: 2010-11-10
• 發(fā)明（設(shè)計(jì)）人: 張慶敏;胡剛;謝海威;郭棟
• 申請(qǐng)（專利權(quán)）人: 北京眾志和達(dá)信息技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F11/14
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種實(shí)現(xiàn)重復(fù)數(shù)據(jù)數(shù)據(jù)刪除的方法，其特征在于，主要步驟包括：

通過(guò)simhash(相似性哈希)算法計(jì)算數(shù)據(jù)的相似度；

通過(guò)相似度定位存儲(chǔ)位置，把相似度計(jì)入索引庫(kù)；

把數(shù)據(jù)寫(xiě)入數(shù)據(jù)倉(cāng)庫(kù)；

如果有相同的相似度的數(shù)據(jù)進(jìn)來(lái)的話，把數(shù)據(jù)倉(cāng)庫(kù)中對(duì)應(yīng)的數(shù)據(jù)提取出來(lái)，然后進(jìn)行二進(jìn)制比對(duì)；

如果相同則記錄索引，如果不同則記錄不同的數(shù)據(jù)部分。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法按照一定的格式記錄數(shù)據(jù)結(jié)構(gòu)，通過(guò)數(shù)據(jù)指紋加數(shù)據(jù)對(duì)比的方式實(shí)現(xiàn)數(shù)據(jù)的準(zhǔn)確性和一致性。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法基于相似性哈希算法理論，利用二進(jìn)制數(shù)據(jù)對(duì)比保證數(shù)據(jù)一致性。

4.一種實(shí)現(xiàn)重復(fù)數(shù)據(jù)數(shù)據(jù)刪除的系統(tǒng)，其特征在于，所述系統(tǒng)包括：相似度標(biāo)示庫(kù)(BitMap)、數(shù)據(jù)偏移的標(biāo)示庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)(LBAMap)，記錄原始數(shù)據(jù)的存儲(chǔ)庫(kù)(Resp)。其中：

所述相似度標(biāo)示庫(kù)，用來(lái)標(biāo)示相似度的值是否存在，所有的相似度的值都可以在bitmap中找到一個(gè)固定的標(biāo)示位，如果該標(biāo)示位為1，則表示有同樣相似度的數(shù)據(jù)出現(xiàn)過(guò)，可以進(jìn)行數(shù)據(jù)縮減；

所述數(shù)據(jù)偏移的標(biāo)示庫(kù)，用來(lái)表示數(shù)據(jù)在倉(cāng)庫(kù)(resp)中的偏移，LBAMap中記錄的LBA和BitMap中標(biāo)示位相對(duì)應(yīng)；

所述數(shù)據(jù)倉(cāng)庫(kù)，記錄原始數(shù)據(jù)的存儲(chǔ)庫(kù)，其地址偏移在LBAMap中記錄。

5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述相似度標(biāo)示庫(kù)中的數(shù)據(jù)標(biāo)示，通過(guò)二維座標(biāo)定位，可以快速的進(jìn)行相似度定位驗(yàn)證。

6.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)偏移的標(biāo)示庫(kù)中的相似度數(shù)據(jù)偏移定位也是通過(guò)二維坐標(biāo)定位，可以迅速的找到相似度對(duì)應(yīng)的數(shù)據(jù)偏移。

7.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)倉(cāng)庫(kù)，記錄原始數(shù)據(jù)的存儲(chǔ)庫(kù)中的數(shù)據(jù)按照數(shù)據(jù)源特征，順序?qū)懭耄@樣在讀取的時(shí)可以保證數(shù)據(jù)順序讀取，保證了系統(tǒng)的性能。