[發明專利]重復數據刪除系統及其刪除方法

有效

• 申請號: 201310109231.1
• 申請日: 2013-03-29
• 公開（公告）號: CN103177111A
• 公開（公告）日: 2013-06-26
• 發明（設計）人: 王磊;任振剛;黑新宏;高闊;費蓉
• 申請（專利權）人: 西安理工大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 李娜

1.重復數據刪除系統，其特征在于：為分布式架構，主要由客戶端、管理服務器和存儲節點服務器組成；客戶端主要用于接收用戶保存文件/還原文件請求、切分文件/組合文件；管理服務器的主要功能有指紋值比對、維護指紋庫、糾刪碼編碼和數據壓縮；存儲節點服務器主要負責存儲壓縮后的數據塊；客戶端與管理服務器端、管理服務器與存儲節點服務器端均通過局域網相連。

2.如權利要求1所述的重復數據刪除系統，其特征在于：管理服務器主要由指紋庫、文件索引庫和壓縮數據塊索引庫三部分組成；

指紋庫用來記錄系統中所有數據塊的指紋值，其結構由FingerPrint、ReferenceCount組成，其中FingerPrint為指紋值，ReferenceCount記錄此指紋值的數據塊被共享的次數，初始值為1；

文件索引庫記錄組成文件的數據塊指紋值，以及數據塊的順序；

壓縮數據塊索引庫用來記錄每個壓縮數據塊的信息，其結構由Datablock?Name、IpAddress、SavePath、DataBlockLength、FingerPrint、ReferenceCount組成；其中Datablock?Name表示數據塊名稱，IpAddress表示保存數據塊服務器的IP地址，SavePath表示保存數據塊的目錄，DataBlockLength表示數據塊的長度，FingerPrint為數據塊的指紋值，ReferenceCount記錄此數據塊被共享的次數，初始值為1，其與指紋庫中相同指紋值的ReferenceCount字段值相等。

3.如權利要求1或2所述的重復數據刪除系統，其特征在于：客戶端安裝于用戶的個人電腦上。

4.如權利要求1-3任一項所述的重復數據刪除系統的刪除方法，其特征在于：用戶通過客戶端保存和還原文件。

5.如權利要求4所述的重復數據刪除系統的刪除方法，其特征在于：保存文件時，客戶端對用戶輸入的文件進行數據切分產生切分數據塊，對每個切分數據塊進行指紋計算，將計算出的指紋值發送到管理服務器；管理服務器接收到指紋值后，首先到指紋庫中查找是否存在相同指紋值，如果存在相同指紋值，說明此數據塊已經保存，通知客戶端不需要發送數據塊，否則說明此數據塊是一個新數據塊，通知客戶端將數據塊發送到管理服務器，管理服務器收到數據塊后，對數據塊進行糾刪碼編碼，事先根據存儲節點服務器的個數設置好糾刪碼需要的基本數據塊個數和校驗數據塊個數，糾刪碼編碼完成后對每個糾刪碼數據塊進行數據壓縮，將壓縮后的糾刪碼數據塊發送到存儲節點服務器保存。

6.如權利要求4或5所述的重復數據刪除系統的刪除方法，其特征在于：還原文件時，通過客戶端將欲還原的文件名發送到管理服務器，管理服務器到文件數據塊索引庫中查找保存數據塊索引的文件，根據文件中記錄的索引位置，到數據塊糾刪碼索引庫中查找保存糾刪碼索引的文件，根據索引文件中記錄的糾刪碼數據塊保存位置，到各個存儲節點服務器提取壓縮后的糾刪碼數據塊，對其進行解壓縮，根據糾刪碼算法重構出切分數據塊，最后將切分數據塊還原為原始的文件。

7.如權利要求6所述的重復數據刪除系統的刪除方法，其特征在于：保存文件的流程如下：

步驟1：文件切分，將欲保存的文件上傳到客戶端，客戶端用固定尺寸分塊算法切分文件，產生臨時切分數據塊；

步驟2：計算指紋值，客戶端利用MD5算法計算切分數據塊的指紋值；

步驟3：HASH查找，把計算出的指紋值發送到管理服務器，管理服務器以指紋值為關鍵字用HASH函數到指紋庫中進行查找，如果找到相同指紋值說明此數據塊已經保存，更新指紋庫中的ReferenceCount字段，將其值加1，保存其索引到切分索引文件，通知客戶端不用發送數據塊，否則說明此數據塊為一個新數據塊，保存其索引，并通知客戶端發送數據塊，對其進行后續計算；

步驟3：糾刪碼編碼，用Reed?Solomon糾刪碼編碼對新切分數據塊進行編碼，產生糾刪碼數據塊和糾刪碼索引文件；

步驟4：壓縮數據，用Huffman壓縮算法對糾刪碼數據塊進行壓縮；

步驟5：保存，將壓縮數據塊發送到存儲節點服務器保存；

重復步驟1到步驟5，直到文件處理完畢；

還原文件的流程如下：

步驟1：提取數據塊索引，用客戶端將還原文件請求發送到管理服務器，管理服務器到文件索引庫中查找保存文件切分數據塊索引的文件；如果沒有找到提示無法還原文件，否則繼續；

步驟2：提取糾刪碼索引，管理服務器根據切分數據塊索引文件中記錄的索引位置，到糾刪碼數據塊索引庫中查找糾刪碼索引文件；如果沒有找到則提示糾刪碼數據塊丟失，無法還原文件，否則繼續；

步驟3：提取糾刪碼數據塊，根據糾刪碼索引文件中記錄的IpAddress、SavePath兩個字段到存儲節點服務器中提取壓縮后的糾刪碼數據塊；

步驟4：解壓縮，對提取出的壓縮數據塊解壓縮，產生糾刪碼數據塊；

步驟5：判斷是否滿足重構條件，根據Reed?Solomon糾刪碼解碼原理判斷解壓出的糾刪碼數據塊是否滿足重構條件，如果不滿足，提示糾刪碼數據塊丟失過多，無法重構，否則繼續進行；

步驟6：重構數據塊，利用Reed?Solomon糾刪碼解碼原理將解壓后的糾刪碼數據塊重構為切分數據塊；

步驟7：還原文件，將切分數據塊中的數據發送給客戶端，客戶端將其保存到文件中；

重復步驟1到步驟6，直到數據塊索引文件中的數據處理完畢，最后客戶端將還原的文件呈現給用戶。