[發明專利]一種適用于云存儲的重復數據刪除系統和方法

在審

• 申請號: 201410164634.0
• 申請日: 2014-04-22
• 公開（公告）號: CN103944988A
• 公開（公告）日: 2014-07-23
• 發明（設計）人: 孫國梓;王振宇;楊一濤;何利文
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 南京知識律師事務所 32207
• 代理人: 汪旭東

技術領域

本發明涉及云存儲與信息安全技術領域，特別涉及重復數據刪除技術。

背景技術

云存儲是在云計算(Cloud?Computing)概念上延伸和發展出來的一個新的概念，是指通過集群應用、網格技術或分布式文件系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。云存儲系統利用重復數據刪除技術，只保留冗余數據的一個副本，并且提供指向該副本的指針，而不是存儲多個副本，從而可以極大降低磁盤空間的開銷和帶寬需求。根據最新統計數據，重復數據刪除技術是最有效的存儲技術，在接下來的幾年里將會被應用到75％的備份系統和云存儲中。

然而重復數據刪除技術與數據加密之間存在著沖突，使用傳統的加密方法時，當加密密鑰不同時，即使相同的明文，生成的密文也是完全不同的，這使得無法進行重復數據的刪除。雖然收斂加密能有效的緩解這一沖突，但也存在泄漏用戶隱私的威脅。

另外對于用戶來說云存儲提供商也存在安全威脅，一般認為提供商是半可信的，即云服務器會按照預定義的協議和策略工作，不會進行明顯的惡意攻擊，但是無法保障上傳的數據不被云存儲提供商非授權查看、掃描和公開展示，因此無法解決客戶的安全顧慮。

收斂加密與對稱加密相似，但是加密密鑰來自明文的哈希值，加密方法基于XOR操作。同一明文將會映射到同一個加密密鑰，經過加密后生成相同的密文，所以這種加密方法被廣泛應用到重復數據刪除系統中。

發明內容

本發明目的在于提供了一種適用于云存儲環境的重復數據刪除系統和方法，該方法解決了云存儲系統中冗余數據太多，存儲空間利用率低的問題，并且能夠有效緩解重復數據刪除技術與數據加密之間的沖突，以及防止來自云存儲提供商的威脅；該方法可以極大提高存儲空間利用率、降低帶寬占用以及提高用戶數據和隱私安全性。

本發明解決其技術問題所采用的技術方案是：本發明提供了一種安全云存儲中基于策略的重復數據刪除系統，該系統采用安全代理和隨機存儲機制，將存儲服務與安全服務分離，提高云存儲性能和安全；該系統涉及的云存儲系統主要由客戶端、安全代理和云存儲三個組件構成，具體包括如下：

一、客戶端

文件分塊/組裝：對需要進行數據塊級重復數據檢測的文件，進行固定長分塊或者基于內容分塊；以及數據下載過程中將數據塊組裝成文件。

Hash：對文件或者數據塊計算Hash值，作為其指紋。目前最常使用的是MD5和SHA-1兩種hash方法。

本地指紋庫：用于存儲該用戶上傳的文件和數據塊的Hash值。

重復數據刪除：根據文件或者數據塊的Hash值，比對安全代理指紋庫，根據返回的比對結果決定是否進行重復數據刪除操作。

收斂加密：利用文件或者數據塊的Hash值作為密鑰，對需要上傳的數據進行初步的加密操作。

授權：用戶第一次使用時需要向安全代理和云存儲服務器注冊。上傳和下載數據時，需向安全代理和云存儲服務器表明其合法身份。

本發明重復數據刪除操作在客戶端進行，采取層次化消冗的策略，降低系統開銷和提高消冗率

二、安全代理

訪問控制：只有合法的用戶才能查詢指紋庫和存儲索引，上傳和下載數據也需要進行身份驗證。

全局指紋庫：用于存儲全局文件和數據塊的Hash指紋，且根據文件類型分類存儲，具有比對指紋的功能。

存儲分配：根據客戶端上傳的指紋信息，將數據塊隨機分配給各云存儲提供商，生成存儲方案并返回給客戶端。

存儲索引：記錄文件和數據塊在云服務器中的存儲信息，如表1所示。