[發明專利]一種密文數據壓縮存儲結構RCPE及數據動態讀寫方法

有效

• 申請號: 201910165159.1
• 申請日: 2019-03-05
• 公開（公告）號: CN110166221B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 齊賽宇;張萌;袁浩然;陳曉峰;張夫猷
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H04L9/06
• 分類號: H04L9/06;H04L69/04
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

本發明屬于數據安全領域，公開了一種密文數據壓縮存儲結構RCPE及數據動態讀寫方法。利用RCFile存儲結構的設計理念設計了一個兩層的密文鍵值存儲結構RCPE；本發明包括數據存儲格式、數據壓縮方法和數據讀取的優化；本發明先將數據水平劃分為多個行組，行組大小由用戶指定；然后再對每個行組進行垂直劃分；行組中按列對數據進行壓縮和加密。并在此密文存儲結構上設計了讀寫接口，支持豐富的查詢模式和動態寫操作。本發明具備相當于行存儲的數據加載速度和負載適應能力，在讀數據時可以避免不必要的列讀取，減少了客戶端解密解壓縮的時間。它比其他結構擁有更好的性能，使用列維度的壓縮能夠有效提升存儲空間利用率，進而提高系統性能。

技術領域

本發明屬于數據安全領域，尤其涉及一種密文數據壓縮存儲結構RCPE及數據動態讀寫方法。

背景技術

目前，業內常用的現有技術是這樣的：目前，計算技術將大量物理設備的計算、網絡和存儲資源整合起來，通過互聯網為用戶提供按需和彈性的相應服務。然而，為了充分利用這些服務，以往在本地設備執行的任務需要委托給云服務提供商。由于KV存儲具有高性能、線性可伸縮性、持續可用性，甚至還有對豐富查詢的高級支持的巨大潛力。為了管理持續增長的數據量，分布式鍵值(KV)存儲已經成為許多公有云服務的主干。同時數據壓縮可以使服務器在主內存中容納更多的數據，從而減少對持久存儲的訪問次數，進而提高系統性能。因此許多大數據存儲利用壓縮軟件對數據進行壓縮，提高系統性能。為了保護數據機密性，一種自然的解決方案是加密存儲在服務器上的數據，秘鑰保存在客戶端，只有擁有秘鑰的用戶才能解密數據。因此一個理想的系統是將壓縮和加密結合到設計中。

目前大部分方案中都是只采用了壓縮技術或加密技術中的一種，因為壓縮與加密之間存在緊張關系。首先，壓縮加密數據(隨機的)是不可行的，因為偽隨機數據是不可壓縮的。其次，加密壓縮數據在某些系統中工作良好，但在數據庫設置中存在問題。壓縮一行數據通常提供有限的壓縮比，而壓縮多行數據意味著服務器不能對這些行屬性保持細粒度的訪問，使維護正確的語義更加困難。現有技術提出了基于鍵值存儲的首個將壓縮與加密結合的方案MiniCrypt。方案將少量行壓縮在一起，在達到較高壓縮比的同時，提高了數據的可用性。利用key的最小值作為包的ID，實現整行查詢和范圍查詢。但由于方案是進行的整行壓縮，當方案僅需要查詢一列數據時，仍需返回所有列的數據，通信開銷大，解密解壓縮慢等問題，且由于一個包中存在多行數據，很容易出現并發沖突問題，因此MiniCrypt的更新方案將造成大量重復操作。

綜上所述，現有技術存在的問題是：

(1)現有技術大部分只支持壓縮或加密一種技術；目前同時支持壓縮和加密技術的MiniCrypt方案由于每個行組進行的整體打包，在進行單列或少數列查詢時，仍需要返回行組中所有列的數據，這將造成大量不必要的通信開銷，同時客戶端需要對整個行組進行解密解壓縮操作，這將加大客戶端解密解壓縮的時間開銷。解決這個問題，將減少通信成本，提高傳輸速度，減輕客戶端的計算壓力，提高系統性能。

(2)現有技術壓縮比不高，數據庫的動態性效果不佳。主要是由于進行多行整體壓縮，數據類型不同，導致壓縮比不高，且由于一個行組中存在多行數據，很容易出現多個用戶同時處理一個包，導致更新丟失現象發生。而采用樂觀鎖記錄包哈希值的方式，很容易出現用戶不斷重新下載重新更新的現象發生。提高壓縮比，將減少通信開銷，提高系統吞吐量。尋找新方法解決并發更新過程中的更新丟失問題將減少重復下載更新造成的開銷，完善數據庫的動態性。

解決上述技術問題的難度：如何基于RCFile存儲結構的設計理念設計一個新的鍵值數據存儲結構，在支持數據壓縮和加密的同時，保持高可用性和較高地查詢效率是解決上述問題的難點。

解決上述技術問題的意義：解決上述問題可為大數據存儲提供更好的機密性和高效性保證，更適用于數據倉庫。

發明內容

針對現有技術存在的問題，本發明提供了一種密文數據壓縮存儲結構RCPE及數據動態讀寫方法。