[發明專利]云環境中相似數據消息鎖定加密去重方法、云存儲系統

有效

• 申請號: 201810055819.6
• 申請日: 2018-01-20
• 公開（公告）號: CN108400970B
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 姜濤;袁浩然;陳曉峰
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;H04L9/06;G06F16/2455
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

本發明屬于云存儲技術領域，公開了一種云環境中相似數據消息鎖定加密去重方法，采用相似性保留哈希函數，基于糾錯碼的密鑰提取方法和基于偽隨機生成器的安全對稱加密算法構成本發明的技術路線。與現有的數據去重方法相比，該方案的實現可以進一步提高現有的方案去重的效率，可以進一步提升云服務器存儲空間的利用率，并可以進一步的降低用戶與云服務器的計算開銷和存儲開銷。本發明能夠實現相似密文數據安全和高效的去重；本還發明采用漢明距離縮減和標簽切割最優化方法，通過漢明距離縮減和標簽切割最優化的方法，可以提高云服務器進行標簽查詢的效率，實驗結果表明本發明在存儲和通信花銷方面是高效的。

技術領域

本發明屬于云存儲技術領域，尤其涉及一種云環境中相似數據消息鎖定加密去重方法、云存儲系統。

背景技術

現如今，每天都有大量的數據被產生和處理。國際數據公司關于數字領域的研究指出到2020年互聯網中的數據將達到40000EB，并且數據將持續以每兩年翻倍的速度增長。云計算給數據存儲方案的范式帶來了轉變。通過提供可靠的、可擴展的、按需的云存儲服務并收取相對低廉的價格，對個人和企業數據管理帶來了極大的便利性。思科全球云指數指出所有數據中心流量的83％來自于云，到2019年，數據中心工作量的80％將在云上被處理。根據現在的研究表明，主存儲器中的20％到30％數據是冗余的。具體來說，通過在備份存儲中實現全部文件的重復數據刪除技術，將節約超過50％的標準文件系統的存儲空間，超過72％的備份文件系統的存儲空間。因此，數據去重技術可以有效的減輕數據存儲的壓力，通過刪除冗余數據減少網絡通信量，從而提高系統服務質量。一系列的在線/離線存儲系統已經提供了數據去重功能，如IBM公司的InfoSphere QualityStage服務和FirstLogic公司的SAP Data Services等商業數據集成工具支持的重復數據檢測。有許多基于聚類的技術，分類技術，鏈接分析技術或統計技術用于檢測重復記錄。還有很多軟件旨在檢測和消除相同或類似的重復數據，如Duplicate Cleaner，VisiPics和DupeGuru。然而，由于在云存儲系統中用戶將失去其數據的物理控制權，這使得用戶數據的安全成為最大的訴求。因此，為了保護云用戶敏感數據的安全性，用戶將數據外包前通常會對數據進行加密。然而，加密技術的目標是提供明文數據的語義安全性，使得密文數據與隨機數據不可區分。因此，在多用戶云存儲系統中，如何在保護數據安全性的前提下實現數據去重成為了關鍵且極具挑戰的問題。為了解決這個問題，收斂加密方案被提出。在收斂加密中，通過使用文件的哈希值作為收斂密鑰，相同的數據總能得到相同的密鑰，通過使用收斂密鑰加密解密數據，這使得密文去重得以實現。這種加密方案被形式化定義為消息鎖定加密，通過從相同的數據得到相同的密鑰進行數據加密的方法，使得云服務器可以判斷兩個密文數據是否是由相同的明文得到的。之后，一系列新的消息鎖定加密方案力圖提高方案的安全性或者提供其他新的特性。然而那些方案均只考慮了相同數據的去重并不能應用于實現相似數據的去重。許多實際的系統需要在數據檢測，數據清理和數據聚合等情況下進行重復數據去重或搜索相似的數據項，如差錯，拼寫錯誤和內容不一致。一些相似數據檢索方案和去重系統已經被提出，還有很多方案和軟件被用來刪除內容相似的網頁、文本文檔、音樂、圖片、視頻或者是本地磁盤的二進制數據。然而，那些方案和軟件主要解決明文數據的去重而不是密文數據。進一步的，他們的方案適用于個人使用而不適用于云環境下的多用戶場景。因此，現有的方案很難直接應用于云環境下安全的相似數據去重。盡管現在有方案可以支持隱私保護的云環境中的相似圖像去重，但是他們假設存在一個用戶群組并且加密密鑰在群組中被分享。然而云環境中用戶很難知道擁有同樣數據的其他用戶。一般來說，云環境下相似數據去重的挑戰是云用戶很難與其他用戶溝通協商一個共同的加密密鑰，而且云服務器也很難判斷兩個密文是否是由相似的數據加密得來的。

綜上所述，現有技術存在的問題是：