[發明專利]一種適用于備份系統的安全數據去重方法和系統

有效

• 申請號: 201310301670.2
• 申請日: 2013-07-17
• 公開（公告）號: CN103530201A
• 公開（公告）日: 2014-01-22
• 發明（設計）人: 馮丹;周玉坤;夏文;付忞;黃方亭
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F21/78;H04L9/32
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 朱仁玲

技術領域

本發明屬于計算機存儲領域，更具體地，涉及一種適用于備份系統的安全數據去重方法和系統。

背景技術

近年來，隨著計算機技術和網絡的發展普及，全球的數據信息存儲量呈爆炸式增長的趨勢。全球范圍內個人電腦、智能手機等設備的普及，和新興市場內不斷增長的互聯網訪問量，以及監控攝像機或智能電表等設備產生的數據爆增，使數字宇宙的規模在最近兩年翻了一番，達到驚人的2.8ZB。IDC預計，到2020年，數字宇宙規模將超出預期，達到40ZB。在線數字內容的增長導致了硬件、人力維護在內的存儲系統成本的增加，減少傳輸、存儲管理過程中的數據量變得極其重要。在海量的數據中存在大量的重復數據和相似數據，如同樣的文件為確保安全存儲了多份，在計算機系統通常存儲和操作同一數據的若干副本，這些冗余數據占用了大量的存儲空間。數據去重技術是一種通過大規模消除冗余數據，降低存儲成本的重要技術。簡單舉例說明：若有一個10MB大小的文件，將其拷貝給100個用戶，需要使用1GB的存儲空間；若每周對100個用戶的數據進行備份，則每周需要額外增加1GB的存儲空間；一年之后，總共需要浪費52GB的存儲空間；而進行數據去重之后，僅需要10MB大小的空間即可存儲。

隨著容災備份系統和數據去重技術的發展，隱私數據的丟失與篡改等存儲安全問題日漸突出，例如：對于現有的備份系統，在存儲服務過程中，存儲系統錯誤配置、管理員操作失誤、敵手通過抓包獲取等有可能將用戶的明文數據直接暴露給他人；即使敵手無法獲取明文，也可能通過破壞傳輸文件，篡改數據、暴力攻擊等方式獲取和破壞用戶和企業的重要數據。因此，如何在數據備份過程中建立一個安全的數據去重系統成為了工業界和學術界研究的熱點。

數據安全在現在存儲系統中逐漸引起企業和學術界的重視，在很大程度上，數據去重和加密在邏輯上是完全相反和矛盾的。數據去重利用了數據的相似性，相反密碼學的目標是使得密文分布更接近于理論上的隨機性。假如按照經典數據去重算法，不同用戶對于共享的數據塊加密，由于密文的隨機性將得到不同的密文，產生不同的指紋，導致數據去重的效率大大降低。假如采用不同的用戶對共享的數據塊明文計算處理得到相同的指紋，再使用不同的密鑰加密數據塊得到不同的密文，導致其他用戶無法解密。同時在數據去重技術中增加加密、身份認證等安全技術勢必會增加備份系統的負擔，降低備份系統的性能。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種適用于備份系統的安全數據去重方法和系統，其目的在于保證在數據去重率不變的基礎上，防止數據丟失、篡改等存儲安全問題。

為實現上述目的，按照本發明的一個方面，提供了一種適用于備份系統的安全數據去重方法，包括：

一、備份階段，其包括以下步驟：

（1）接收用戶提交的備份請求；

（2）對需要備份的每個文件進行分塊，以得到多個不同大小的數據塊；

（3）使用哈希算法計算每個數據塊的哈希值F¹來作為數據塊加密密鑰。

（4）再次使用哈希算法計算每個數據塊哈希值F¹的哈希值F²，并將哈希值F²作為該數據塊的指紋，并采用經典加密算法使用用戶的私鑰對數據塊的哈希值F¹進行加密以得到數據哈希值F¹的密文E（F¹）；

（5）將文件的數據塊個數nChunkNum，所有數據塊指紋F²等打包成指紋段并記錄，順序將所有指紋段以指紋流的形式發送傳輸到存儲服務器，并發送校驗流到存儲服務器；

（6）在存儲服務器的內存中建立用于記錄該文件的數據塊是否重復的單鏈表；

（7）根據指紋段和文件數據塊個數nChunkNum在存儲服務器端進行數據去重的操作過程；

（8）在客戶端準備備份非重復的數據塊，設置計數器j=1，并判斷j是否大于nChunkNum，如果是則轉步驟（12），否則轉步驟（9）；

（9）對于第j個數據塊，如果其是重復的數據塊，則不予發送；如果其是新的數據塊，采用文件壓縮算法壓縮，并以數據塊哈希值F¹作為第j個數據塊的數據塊加密密鑰，并使用該數據塊加密密鑰和經典加密算法對第j個數據塊加密，得到的密文數據塊；

（10）將加密后的密文數據塊和數據塊哈希值F¹的密文E（F¹）以數據流的形式發送至存儲服務器，并發送校驗流到存儲服務器，設置j=j+1；