[發明專利]一種安全的分布式重復數據刪除方法

有效

• 申請號: 201410014630.4
• 申請日: 2014-01-13
• 公開（公告）號: CN103763362A
• 公開（公告）日: 2014-04-30
• 發明（設計）人: 陳曉峰;尤沛;李進;李柏晴
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

技術領域

本發明涉及計算機領域中的云儲存服務，具體涉及一種安全的分布式重復數據刪除方法。

背景技術

數據去重技術廣泛的應用在數據備份中來減少網絡和存儲開銷，它通過檢測和消除數據冗余來實現這一點。數據去重技術消除數據冗余，只留下一個物理副本，而不會保留多個相同內容的數據拷貝。當下已經有很多的數據去重技術出現，他們基于各種各樣的去重策略，例如客戶端或服務器端去重，文件級或塊級去重等等。尤其是在云計算時代到來的時候，云存儲中面臨的日益增長的數據問題使得很多企業和團體都外包數據存儲給第三方機構，這種情況下，數據去重技術就顯得異常的關鍵。現在的很多商業云存儲服務機構，例如Dropbox，Mozy和Memopal，他們都開始使用數據去重技術來降低帶寬和存儲的開銷。

數據去重，同時提高存儲和帶寬效率，在傳統的數據加密體系下是不可調和的。加密機制通常在外包數據進入云之前進行。傳統的加密機制，包括公鑰加密和對稱密鑰加密，需要不同的用戶用他們自己的密鑰加密數據。這樣造成的結果是，不同用戶加密的完全相同的數據拷貝將會帶來不同的密文，使得去重技術無法實施。為了克服這個問題，有人提出了收斂加密來加密數據同時保證去重的實施。基于收斂加密的數據去重系統，它使用一個收斂密鑰來加密或解密一個數據拷貝，這個收斂密鑰是根據數據拷貝自身的內容計算哈希值得到的。因此，相同的數據拷貝將生成相同的收斂密鑰，也就意味著會加密成相同的密文，使得云服務器能實施數據去重技術。

然而，這個方法面臨了兩個很關鍵的調度問題。首先，用戶必須存儲巨大數量的密鑰。尤其是，在一個塊級的數據去重系統中，每個用戶必須生成和保留一個加密的收斂密鑰給每一個加密的外包數據塊，使得他們之后可以下載和解密這個數據。顯然的，在這樣的一個基于收斂加密的系統中，收斂密鑰將隨著存儲塊的數量線性增長，將會愈發龐大。其次，先前的去重系統僅僅支持單服務器設置下的數據保密性，這將可能帶來保密的失敗或者數據的丟失。實際上，數據的可靠性在去重存儲系統中是一個非常關鍵的問題，因為對于所有用戶來說，每個存儲的文件在服務器上只剩下了一個拷貝。如果這個共享的拷貝丟失了，一個無法估量的大量數據將不可訪問，因為所有共享這個數據的文件將變得無效。結果也就是，單服務器設置的去重系統有著數據丟失的潛在隱患。因此，怎么樣提供更好的可靠性成為了去重系統中的一個關鍵的安全需求問題。

發明內容

在本發明中將展示怎樣在云計算環境下設計一個具備更高可靠性的安全的數據去重系統。本發明在去重系統中提出一個分布式云存儲服務器。主要的技術思想是利用秘密共享技術來把文件分割成片段，而不采用加密機制。這些共享將分布在多個獨立的存儲服務器。

此外，為了支持去重，本發明將計算一個不同的短值，發送給每個存儲服務器來作為一個片段的指紋。只有第一次上傳這些數據的擁有者才需要進行這樣的計算和秘密共享的分布，之后擁有相同數據拷貝的人就不再需要計算和存儲這些共享了?；謴蛿祿截悤r，用戶必須訪問最低數量的存儲服務器通過認證和獲得秘密共享來重構數據。換句話說，數據的秘密共享只能被擁有相同拷貝的授權了的用戶訪問。

因此，數據保密性在本發明的系統中是可以不通過加密而達到的。這就省去了在用戶端對密鑰的管理問題，并且使得數據存儲更可靠。

傳統的去重方法不能夠直接的擴展應用到多服務器系統。從更多的細節而言，如果一個短值存儲在不同的云存儲服務器中來支持去重檢查，那個對傳統的去重方法來說，他就不能夠抵擋共謀攻擊。換句話說，任何服務器都能夠通過相同的短值來驗證自己的擁有者身份，從而從其他服務器中獲取數據的其它片段。本發明進一步的解決了兩種共謀攻擊，分別是，針對數據的共謀攻擊和針對PoW的共謀攻擊。據了解，針對安全去重的現有技術中都沒有涉及到引入分布式存儲服務器，并考慮其中的可靠性問題。

為了實現上述目的，本發明采用的技術方案如下：

本發明為一種安全的分布式重復數據刪除方法，包括多個作為存儲服務器的云服務器，以及向所述云服務器上傳文件和/或數據的用戶，所述方法包括以下步驟：

S1所述用戶計算并發送文件和/或數據標簽至所述云服務器，用于檢查是否存在重復；

S2如檢查沒有發現重復，對文件和/或數據進行秘密共享計算后獲得若干個碎片；

S3計算并獲得所述若干個碎片所對應的云服務器上的標簽；

S4所述用戶在安全信道中向所述云服務器上傳一組含有與所述文件和/或數據對應的值，所述云服務器存儲所述值并返回一個指針至所述用戶作本地存儲；