[發(fā)明專利]針對(duì)云存儲(chǔ)系統(tǒng)中重復(fù)冗余數(shù)據(jù)的高效去重方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201510848801.8
• 申請(qǐng)日: 2015-11-27
• 公開(kāi)（公告）號(hào): CN105487818B
• 公開(kāi)（公告）日: 2018-11-09
• 發(fā)明（設(shè)計(jì)）人: 張廣艷;楊松霖;舒繼武;鄭緯民
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張大威

1.一種針對(duì)云存儲(chǔ)系統(tǒng)中重復(fù)冗余數(shù)據(jù)的高效去重方法，其特征在于，所述系統(tǒng)包括多個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器組成的集群以及多個(gè)客戶端，其中，所述多個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器組成的集群包括由多個(gè)數(shù)據(jù)服務(wù)器組成的數(shù)據(jù)服務(wù)器集群和一個(gè)元數(shù)據(jù)服務(wù)器，所述方法包括以下步驟：

S1：所述多個(gè)客戶端接收用戶的上傳數(shù)據(jù)，將所述數(shù)據(jù)組織成數(shù)據(jù)超塊以作為數(shù)據(jù)路由單位，并提取其中的數(shù)據(jù)路由特征指紋，用于數(shù)據(jù)路由選擇；

S2：所述元數(shù)據(jù)服務(wù)器與數(shù)據(jù)服務(wù)器集群根據(jù)路由策略來(lái)處理所述多個(gè)客戶端的數(shù)據(jù)路由選擇請(qǐng)求，其中，所述數(shù)據(jù)服務(wù)器集群對(duì)所述數(shù)據(jù)路由特征指紋進(jìn)行相似指紋匹配以確定相似路由節(jié)點(diǎn)，所述元數(shù)據(jù)服務(wù)器根據(jù)負(fù)載均衡策略確定最終的數(shù)據(jù)路由地址；

S3：確定數(shù)據(jù)路由地址后，所述客戶端與相應(yīng)的數(shù)據(jù)服務(wù)器進(jìn)行交互，以將相似冗余數(shù)據(jù)發(fā)送至選擇的數(shù)據(jù)服務(wù)器，所述選擇的數(shù)據(jù)服務(wù)器在接收到相似冗余數(shù)據(jù)后，在線對(duì)冗余數(shù)據(jù)進(jìn)行快速去重。

2.根據(jù)權(quán)利要求1所述的針對(duì)云存儲(chǔ)系統(tǒng)中重復(fù)冗余數(shù)據(jù)的高效去重方法，其特征在于，根據(jù)局部相似路由算法生成所述路由策略。

3.根據(jù)權(quán)利要求1所述的針對(duì)云存儲(chǔ)系統(tǒng)中重復(fù)冗余數(shù)據(jù)的高效去重方法，其特征在于，所述步驟S2進(jìn)一步包括：

在上傳數(shù)據(jù)時(shí)，每個(gè)客戶端對(duì)所述數(shù)據(jù)超塊進(jìn)行邏輯劃分，生成多個(gè)數(shù)據(jù)段，并根據(jù)采樣策略對(duì)每個(gè)數(shù)據(jù)段進(jìn)行指紋采樣，以獲取數(shù)據(jù)路由特征指紋；

所述客戶端與集群中的各數(shù)據(jù)服務(wù)器進(jìn)行指紋數(shù)據(jù)交互，通過(guò)查詢相似索引表確定各數(shù)據(jù)服務(wù)器的匹配信息；

所述客戶端與元數(shù)據(jù)服務(wù)器進(jìn)行通信，根據(jù)所述各數(shù)據(jù)服務(wù)器的匹配信息與集群中選擇的路由節(jié)點(diǎn)使用情況，確定最終的數(shù)據(jù)路由地址。

4.根據(jù)權(quán)利要求3所述的針對(duì)云存儲(chǔ)系統(tǒng)中重復(fù)冗余數(shù)據(jù)的高效去重方法，其特征在于，所述各數(shù)據(jù)服務(wù)器的匹配信息包括每個(gè)數(shù)據(jù)服務(wù)器的匹配成功的指紋個(gè)數(shù)。

5.根據(jù)權(quán)利要求3所述的針對(duì)云存儲(chǔ)系統(tǒng)中重復(fù)冗余數(shù)據(jù)的高效去重方法，其特征在于，所述采樣策略是基于布羅德最小獨(dú)立置換原理，對(duì)每個(gè)數(shù)據(jù)段進(jìn)行指紋采樣，并獲取數(shù)據(jù)路由特征指紋。

6.根據(jù)權(quán)利要求1所述的針對(duì)云存儲(chǔ)系統(tǒng)中重復(fù)冗余數(shù)據(jù)的高效去重方法，其特征在于，所述步驟S3進(jìn)一步包括：

所述數(shù)據(jù)服務(wù)器在接收到客戶端發(fā)送的存儲(chǔ)請(qǐng)求時(shí)，啟動(dòng)相應(yīng)的數(shù)據(jù)處理線程，對(duì)到達(dá)的數(shù)據(jù)超塊進(jìn)行處理；

所述數(shù)據(jù)服務(wù)器在接收數(shù)據(jù)時(shí)，根據(jù)數(shù)據(jù)路由特征指紋將相似容器元數(shù)據(jù)加載到內(nèi)存的相似索引查找子集，并與到達(dá)的數(shù)據(jù)超塊進(jìn)行數(shù)據(jù)冗余匹配；

如果未匹配到相似的數(shù)據(jù)超塊，則結(jié)合熱點(diǎn)索引庫(kù)進(jìn)一步地進(jìn)行數(shù)據(jù)去重處理。

7.根據(jù)權(quán)利要求6所述的針對(duì)云存儲(chǔ)系統(tǒng)中重復(fù)冗余數(shù)據(jù)的高效去重方法，其特征在于，其中，所述數(shù)據(jù)服務(wù)器集群根據(jù)系統(tǒng)緩存中相似冗余數(shù)據(jù)的訪問(wèn)頻率異步更新所述熱點(diǎn)索引庫(kù)。