[發明專利]一種基于無中心分布系統的全局重復數據刪除系統及方法

有效

• 申請號: 201210232607.3
• 申請日: 2012-07-05
• 公開（公告）號: CN102799659A
• 公開（公告）日: 2012-11-28
• 發明（設計）人: 嚴榮程;魏孫鼎
• 申請（專利權）人: 廣州鼎鼎信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/06
• 代理公司: 廣州市越秀區海心聯合專利代理事務所(普通合伙) 44295
• 代理人: 馬麗麗

1.一種基于無中心分布系統的全局重復數據刪除系統，其特征在于：所述系統包括：

客戶端重復數據刪除模塊（1），與客戶端重復數據刪除模塊（1）實現數據相互傳輸的服務端全局重復數據刪除模塊（2），與服務端全局重復數據刪除模塊（2）實現數據相互傳遞的服務端多副本冗余模塊（3）以及引用操作模塊（4），以及由客戶端發起對一個數據塊進行讀寫操作的讀寫操作模塊（5）。

2.根據權利要求1所述的一種基于無中心分布系統的全局重復數據刪除系統，其特征在于：所述引用操作模塊（4）由加引用操作模塊和減引用操作模塊組成。

3.根據權利要求2所述的一種基于無中心分布系統的全局重復數據刪除系統，其特征在于：所述加引用操作模塊由路由模塊、全內存索引模塊和冗余組模塊組成；所述路由模塊、全內存索引模塊以及冗余組模塊相互之間協同工作；所述路由模塊的路由過程是首先通過給定的一個數據塊的ID，然后把ID映射到一個存儲服務器上；所述全內存索引模塊主要是用以提高重復數據刪除的速度；所述冗余組模塊是互為復制品的一組服務器，用以提高數據安全性。

4.一種實現權利要求1中基于無中心分布系統的全局重復數據刪除系統的方法，其特征在于：所述客戶端重復數據刪除方法包括以下步驟：

a）采用基于內容的變長數據分塊算法對目標文件進行切塊；

b）對已切塊的數據進行強簽名運算,得到摘要ID；

c）由客戶端向服務器端發起對此摘要的引用請求，表示為:Ref(I?D)；

d）由服務器端通過全局重復數據刪除操作，返回兩個確定的操作之一的結果，其一為引用成功，該ID全局引用計數器已加1，其二為引用失敗，該I?D全局范圍內不存在；

e）再由客戶端通過判斷引用操作的結果，如果引用成功，則對該數據塊的操作完成；如果引用失敗，就向服務器端發送該數據塊，然后再重復步驟a-e，直到所有數據塊操作完成。

5.一種實現權利要求1中基于無中心分布系統的全局重復數據刪除系統的方法，其特征在于：所述服務端多副本冗余模塊是基于RAIN結構下的寫操作，所述寫操作方法包括以下步驟：

a）由服務器K端接收到一個對數據塊ID的寫操作請求，表示為Write(ID)；服務器K通過路由方法，f(ID)→N，算出數據塊ID應由服務器N負責，并由此算出該ID的冗余組成員，假定冗余度為R=3，那么，三臺服務器(N,N+1,N+2)成為一個冗余組被選定；

b）由服務器K同時轉發寫入請求Write(ID)到冗余組(N,N+1,N+2)每臺服務器上；

c）由服務器K等待從冗余組（N，N+1，N+2）返回的操作結果；

d）若服務器K接收到任一臺服務器的結果為：“失敗”，立即把操作結果“失敗”返回給客戶端；

e）若服務器K接收到R=3個成功操作結果，把“操作成功”返回給客戶端；

f）數據寫入完成。

6.一種實現權利要求3中基于無中心分布系統的全局重復數據刪除系統的方法，其特征在于：所述服務器端的全局冗余刪除是通過對冗余組模塊內成員進行“加引用”操作；所述“加引用”方法包括以下步驟：

a）通過服務器K端接收到一個對數據塊I?D的引用請求，表示為：Ref(ID)；

b）由服務器K通過路由方法，f(ID)→N，算出數據塊ID應由服務器N負責，并由此算出該ID的冗余組成員，假定冗余度(Replication)為R=3，那么，三臺服務器(N,N+1,N+2)成為一個冗余組被選定；

c）由服務器K同時轉發引用請求Ref(ID)到冗余組(N,N+1,N+2)每臺服務器上；

d）由服務器K等待從冗余組（N，N+1，N+2）返回的操作結果；

e）若服務器K接收到任一臺服務器的結果為“不存在”，則立即將該結果返回給客戶端；

f）若服務器K接收到R=3個成功操作結果，則將“操作成功”返回給客戶端，否則，只要有其一失敗，把失敗結果返回給客戶端，讓其重試；

g)全局重復數據刪除過程完成。