[發(fā)明專利]針對云存儲系統(tǒng)中重復(fù)冗余數(shù)據(jù)的高效去重方法

有效

• 申請?zhí)枺?/td>: 201510848801.8
• 申請日: 2015-11-27
• 公開（公告）號: CN105487818B
• 公開（公告）日: 2018-11-09
• 發(fā)明（設(shè)計）人: 張廣艷;楊松霖;舒繼武;鄭緯民
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張大威

本發(fā)明提出一種針對云存儲系統(tǒng)中重復(fù)冗余數(shù)據(jù)的高效去重方法，包括以下步驟：多個客戶端接收用戶的上傳數(shù)據(jù)，以數(shù)據(jù)超塊作為數(shù)據(jù)路由單位，并提取其中的路由特征指紋，用于數(shù)據(jù)路由選擇；元數(shù)據(jù)服務(wù)器與數(shù)據(jù)服務(wù)器集群根據(jù)路由策略來處理客戶端的數(shù)據(jù)路由選擇請求，其中，數(shù)據(jù)服務(wù)器集群對路由特征指紋進行相似指紋匹配確定相似路由節(jié)點，元數(shù)據(jù)服務(wù)器根據(jù)負(fù)載均衡策略確定最終的數(shù)據(jù)路由地址；客戶端與相應(yīng)的數(shù)據(jù)服務(wù)器交互，接收到相似冗余數(shù)據(jù)的數(shù)據(jù)服務(wù)器對冗余數(shù)據(jù)進行高效快速去重。本發(fā)明的方法能夠使云存儲系統(tǒng)在保持高性能、大規(guī)模、高吞吐的系統(tǒng)特性的同時，達到高效的重復(fù)冗余數(shù)據(jù)去重效果，提升磁盤使用率，降低數(shù)據(jù)管理成本。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機信息存儲技術(shù)領(lǐng)域，特別涉及一種針對云存儲系統(tǒng)中重復(fù)冗余數(shù)據(jù)的高效去重復(fù)方法。

背景技術(shù)

重復(fù)數(shù)據(jù)刪除技術(shù)是一種粗粒度的無損的冗余數(shù)據(jù)去除的特殊數(shù)據(jù)壓縮技術(shù)。重復(fù)數(shù)據(jù)刪除技術(shù)通過對數(shù)據(jù)進行粗粒度的劃分，然后通過指紋計算技術(shù)提取數(shù)據(jù)塊的Hash指紋，通過指紋的索引查詢來判斷數(shù)據(jù)是否冗余，如果新數(shù)據(jù)塊與存儲系統(tǒng)中已有數(shù)據(jù)內(nèi)容相同，則不會對新數(shù)據(jù)進行存儲，而是通過保存指向原有數(shù)據(jù)塊的指針，確定數(shù)據(jù)的存儲位置，對于指針存儲的開銷遠(yuǎn)遠(yuǎn)小于對數(shù)據(jù)的占用空間。因此，重復(fù)數(shù)據(jù)刪除技術(shù)可以有效的提升存儲系統(tǒng)的空間使用率，節(jié)省磁盤存儲容量。

云存儲環(huán)境中實現(xiàn)重復(fù)數(shù)據(jù)刪除技術(shù)是指在云存儲架構(gòu)中加入重刪功能，提升存儲空間利用率，降低存儲成本。在大規(guī)模集群中，實現(xiàn)海量數(shù)據(jù)的存儲，基于塊級別的在線重復(fù)數(shù)據(jù)刪除技術(shù)在數(shù)據(jù)去重率以及存儲管理開銷上具有很大的優(yōu)勢，受到學(xué)術(shù)界以及工業(yè)界的廣泛認(rèn)可與應(yīng)用。但是在大規(guī)模存儲系統(tǒng)中，也存在兩大挑戰(zhàn)，一是數(shù)據(jù)塊索引查詢磁盤瓶頸，二是大規(guī)模數(shù)據(jù)路由問題。

在重復(fù)數(shù)據(jù)刪除過程中，對數(shù)據(jù)塊的去重是基于指紋的查找與匹配來判定的。因此索引查詢優(yōu)化是提高重刪系統(tǒng)I/O性能，解決磁盤查找瓶頸的關(guān)鍵因素。目前針對于數(shù)據(jù)塊索引優(yōu)化的策略主要有三類：一是基于數(shù)據(jù)局部性的優(yōu)化策略；二是基于相似性理論的優(yōu)化策略；三是基于SSD的索引優(yōu)化策略。在集群存儲系統(tǒng)中，數(shù)據(jù)的存儲位置是衡量一個存儲系統(tǒng)的重要指標(biāo)，因為這不僅涉及到各節(jié)點存儲的負(fù)載均衡性，也會對上層應(yīng)用造成一定的影響。而在集群重復(fù)數(shù)據(jù)刪除過程中，出于對系統(tǒng)整體性能開銷的考慮，跨節(jié)點的全局去重會嚴(yán)重降低系統(tǒng)存儲性能，所以一般都是采用只對節(jié)點內(nèi)部數(shù)據(jù)進行數(shù)據(jù)去重。所以基于集群重復(fù)數(shù)據(jù)刪除技術(shù)的集群重刪系統(tǒng)在數(shù)據(jù)路由問題上，將會對系統(tǒng)整體去重效果產(chǎn)生很大影響。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決上述相關(guān)技術(shù)中的技術(shù)問題之一。

為此，本發(fā)明的目的在于提出一種針對云存儲系統(tǒng)中重復(fù)冗余數(shù)據(jù)的高效去重方法，該方法能夠快速地在云存儲系統(tǒng)中去除冗余數(shù)據(jù)，提升存儲磁盤利用率，保證系統(tǒng)的吞吐性能，從而降低存儲成本。

為了實現(xiàn)上述目的，本發(fā)明的實施例提出了一種針對云存儲系統(tǒng)中重復(fù)冗余數(shù)據(jù)的高效去重方法，所述云存儲系統(tǒng)包括多個數(shù)據(jù)存儲服務(wù)器和多個客戶端，其中，所述多個數(shù)據(jù)存儲服務(wù)器組成的集群包括由多個數(shù)據(jù)服務(wù)器組成的數(shù)據(jù)服務(wù)器集群和一個元數(shù)據(jù)服務(wù)器，所述方法包括以下步驟：S1：所述多個客戶端接收用戶的上傳數(shù)據(jù)，將所述數(shù)據(jù)組織成數(shù)據(jù)超塊以作為數(shù)據(jù)路由單位，并提取其中的數(shù)據(jù)路由特征指紋，用于數(shù)據(jù)路由選擇；S2：所述元數(shù)據(jù)服務(wù)器與數(shù)據(jù)服務(wù)器集群根據(jù)路由策略來處理所述多個客戶端的數(shù)據(jù)路由選擇請求，其中，所述數(shù)據(jù)服務(wù)器集群對所述數(shù)據(jù)路由特征指紋進行相似指紋匹配以確定相似路由節(jié)點，所述元數(shù)據(jù)服務(wù)器根據(jù)負(fù)載均衡策略確定最終的數(shù)據(jù)路由地址；S3：確定數(shù)據(jù)路由地址后，所述客戶端與相應(yīng)的數(shù)據(jù)服務(wù)器進行交互，以將相似冗余數(shù)據(jù)發(fā)送至選擇的數(shù)據(jù)服務(wù)器，所述選擇的數(shù)據(jù)服務(wù)器在接收到相似冗余數(shù)據(jù)后，在線對冗余數(shù)據(jù)進行快速去重。