[發明專利]基于云存儲的文件系統去重方法及裝置

有效

• 申請號: 201110386113.6
• 申請日: 2011-11-29
• 公開（公告）號: CN103136243A
• 公開（公告）日: 2013-06-05
• 發明（設計）人: 黃種教;龔靖;雷俊智
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 顏鏑

技術領域

本發明涉及云存儲技術領域，尤其涉及一種基于云存儲的文件系統去重方法及裝置。

背景技術

在現有的磁盤管理應用中，往往存在著大量重復數據，這些重復數據的存取將直接影響到磁盤或卷的實際空間利用率。如果這些大量且冗余的數據通過網絡進行上傳或下載，則又將會對網絡帶寬帶來較大影響，影響用戶數據業務以及其他業務的正常使用。

隨著云計算技術和網絡技術的快速發展，加之網絡存儲成本的不斷降低，越來越多的用戶開始選用云存儲的方式來替代原有的磁盤存儲方式，而這種變化對云存儲技術的處理能力要求也越來越高，如何降低或避免大量重復數據對系統資源和網絡資源的影響則成為云存儲技術的一個亟需解決的問題。

現在也出現了一些數據去重的技術，例如利用數據間的相似度進行去重，這里的相似度比對是通過元數據的屬性值等參數來進行字符串或字段等的計算比對，在進行計算比對之前，還可以隨著輸入的元數據提供相應的權重值，而權重值是指字符在字符串的位置值與該字符的ASC碼值的乘積，是一種字符所在的位置值，加入權重值因素的元數據比對得出的復合相似度通過與預設閾值進行比較，來對相似度較高的數據執行刪除操作，這種方案雖然能夠起到一定的去重效果，但在數據安全性和準確性存在一定的缺陷。

發明內容

本發明的目的是提出一種基于云存儲的文件系統去重方法及裝置，能夠通過數據去重來降低對系統資源和網絡資源的需求，且保證一定的數據安全性和準確性。

為實現上述目的，本發明提供了一種基于云存儲的文件系統去重方法，包括：

云存儲文件系統接收數據提供者通過參考指針上傳的第一對象元數據；

所述云存儲文件系統通過哈希算法對所述第一對象元數據進行計算，獲得所述第一對象元數據對應的哈希值；

所述云存儲文件系統通過所述參考指針逐條對所述云存儲文件系統內的元數據索引表中的各條記錄中的哈希值進行檢查，所述哈希值分別與對象元數據表中的各條第二對象元數據相對應，所述元數據索引表中還包括各條對象元數據在所述對象元數據表中的地址信息；

在檢查過程中，所述云存儲文件系統將所述第一對象元數據對應的哈希值與當前指針所指向的記錄中的哈希值進行比較；

如果所述元數據索引表中存在與所述第一對象元數據對應的哈希值相同的記錄，則對所述第一對象元數據執行刪除操作。

為實現上述目的，本發明提供了一種基于云存儲的文件系統去重裝置，該文件系統去重裝置設置在云存儲文件系統中，具體包括：

數據接收單元，用于接收數據提供者通過參考指針上傳的第一對象元數據；

哈希計算單元，用于通過哈希算法對所述第一對象元數據進行計算，獲得所述第一對象元數據對應的哈希值；

記錄比對單元，用于通過所述參考指針逐條對所述云存儲文件系統內的元數據索引表中的各條記錄中的哈希值進行檢查，所述哈希值分別與對象元數據表中的各條第二對象元數據相對應，在檢查過程中，將所述第一對象元數據對應的哈希值與當前指針所指向的記錄中的哈希值進行比較，所述元數據索引表中還包括各條對象元數據在所述對象元數據表中的地址信息；

數據刪除單元，用于在檢查出所述元數據索引表中存在與所述第一對象元數據對應的哈希值相同的記錄時，對所述第一對象元數據執行刪除操作。

基于上述技術方案，本發明在用戶上傳對象元數據時，通過哈希算法計算對象元數據的哈希值，并通過比較哈希值來確定在云存儲文件系統中是否存在已有記錄，進而執行去重操作。相比于相似度比較的數據去重方式，這種方式更加精確，且誤刪率較低，從而在保證了數據的完整性的同時，節省了用戶的存儲成本。

附圖說明

此處所說明的附圖用來提供對本發明的進一步理解，構成本申請的一部分，本發明的示意性實施例及其說明用于解釋本發明，并不構成對本發明的不當限定。在附圖中：

圖1為本發明基于云存儲的文件系統去重方法的一實施例的流程示意圖。

圖2為本發明基于云存儲的文件系統去重方法的另一實施例的流程示意圖。

圖3為圖2實施例的一種較形象的過程示意圖。

圖4為本發明基于云存儲的文件系統去重裝置的一實施例的結構示意圖。

圖5為本發明基于云存儲的文件系統去重裝置的另一實施例的結構示意圖。

具體實施方式

下面通過附圖和實施例，對本發明的技術方案做進一步的詳細描述。