[發(fā)明專利]一種密文數(shù)據(jù)壓縮存儲結構RCPE及數(shù)據(jù)動態(tài)讀寫方法

有效

• 申請?zhí)枺?/td>: 201910165159.1
• 申請日: 2019-03-05
• 公開（公告）號: CN110166221B
• 公開（公告）日: 2022-02-22
• 發(fā)明（設計）人: 齊賽宇;張萌;袁浩然;陳曉峰;張夫猷
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H04L9/06
• 分類號: H04L9/06;H04L69/04
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

本發(fā)明屬于數(shù)據(jù)安全領域，公開了一種密文數(shù)據(jù)壓縮存儲結構RCPE及數(shù)據(jù)動態(tài)讀寫方法。利用RCFile存儲結構的設計理念設計了一個兩層的密文鍵值存儲結構RCPE；本發(fā)明包括數(shù)據(jù)存儲格式、數(shù)據(jù)壓縮方法和數(shù)據(jù)讀取的優(yōu)化；本發(fā)明先將數(shù)據(jù)水平劃分為多個行組，行組大小由用戶指定；然后再對每個行組進行垂直劃分；行組中按列對數(shù)據(jù)進行壓縮和加密。并在此密文存儲結構上設計了讀寫接口，支持豐富的查詢模式和動態(tài)寫操作。本發(fā)明具備相當于行存儲的數(shù)據(jù)加載速度和負載適應能力，在讀數(shù)據(jù)時可以避免不必要的列讀取，減少了客戶端解密解壓縮的時間。它比其他結構擁有更好的性能，使用列維度的壓縮能夠有效提升存儲空間利用率，進而提高系統(tǒng)性能。

技術領域

本發(fā)明屬于數(shù)據(jù)安全領域，尤其涉及一種密文數(shù)據(jù)壓縮存儲結構RCPE及數(shù)據(jù)動態(tài)讀寫方法。

背景技術

目前，業(yè)內(nèi)常用的現(xiàn)有技術是這樣的：目前，計算技術將大量物理設備的計算、網(wǎng)絡和存儲資源整合起來，通過互聯(lián)網(wǎng)為用戶提供按需和彈性的相應服務。然而，為了充分利用這些服務，以往在本地設備執(zhí)行的任務需要委托給云服務提供商。由于KV存儲具有高性能、線性可伸縮性、持續(xù)可用性，甚至還有對豐富查詢的高級支持的巨大潛力。為了管理持續(xù)增長的數(shù)據(jù)量，分布式鍵值(KV)存儲已經(jīng)成為許多公有云服務的主干。同時數(shù)據(jù)壓縮可以使服務器在主內(nèi)存中容納更多的數(shù)據(jù)，從而減少對持久存儲的訪問次數(shù)，進而提高系統(tǒng)性能。因此許多大數(shù)據(jù)存儲利用壓縮軟件對數(shù)據(jù)進行壓縮，提高系統(tǒng)性能。為了保護數(shù)據(jù)機密性，一種自然的解決方案是加密存儲在服務器上的數(shù)據(jù)，秘鑰保存在客戶端，只有擁有秘鑰的用戶才能解密數(shù)據(jù)。因此一個理想的系統(tǒng)是將壓縮和加密結合到設計中。

目前大部分方案中都是只采用了壓縮技術或加密技術中的一種，因為壓縮與加密之間存在緊張關系。首先，壓縮加密數(shù)據(jù)(隨機的)是不可行的，因為偽隨機數(shù)據(jù)是不可壓縮的。其次，加密壓縮數(shù)據(jù)在某些系統(tǒng)中工作良好，但在數(shù)據(jù)庫設置中存在問題。壓縮一行數(shù)據(jù)通常提供有限的壓縮比，而壓縮多行數(shù)據(jù)意味著服務器不能對這些行屬性保持細粒度的訪問，使維護正確的語義更加困難?，F(xiàn)有技術提出了基于鍵值存儲的首個將壓縮與加密結合的方案MiniCrypt。方案將少量行壓縮在一起，在達到較高壓縮比的同時，提高了數(shù)據(jù)的可用性。利用key的最小值作為包的ID，實現(xiàn)整行查詢和范圍查詢。但由于方案是進行的整行壓縮，當方案僅需要查詢一列數(shù)據(jù)時，仍需返回所有列的數(shù)據(jù)，通信開銷大，解密解壓縮慢等問題，且由于一個包中存在多行數(shù)據(jù)，很容易出現(xiàn)并發(fā)沖突問題，因此MiniCrypt的更新方案將造成大量重復操作。

綜上所述，現(xiàn)有技術存在的問題是：

(1)現(xiàn)有技術大部分只支持壓縮或加密一種技術；目前同時支持壓縮和加密技術的MiniCrypt方案由于每個行組進行的整體打包，在進行單列或少數(shù)列查詢時，仍需要返回行組中所有列的數(shù)據(jù)，這將造成大量不必要的通信開銷，同時客戶端需要對整個行組進行解密解壓縮操作，這將加大客戶端解密解壓縮的時間開銷。解決這個問題，將減少通信成本，提高傳輸速度，減輕客戶端的計算壓力，提高系統(tǒng)性能。

(2)現(xiàn)有技術壓縮比不高，數(shù)據(jù)庫的動態(tài)性效果不佳。主要是由于進行多行整體壓縮，數(shù)據(jù)類型不同，導致壓縮比不高，且由于一個行組中存在多行數(shù)據(jù)，很容易出現(xiàn)多個用戶同時處理一個包，導致更新丟失現(xiàn)象發(fā)生。而采用樂觀鎖記錄包哈希值的方式，很容易出現(xiàn)用戶不斷重新下載重新更新的現(xiàn)象發(fā)生。提高壓縮比，將減少通信開銷，提高系統(tǒng)吞吐量。尋找新方法解決并發(fā)更新過程中的更新丟失問題將減少重復下載更新造成的開銷，完善數(shù)據(jù)庫的動態(tài)性。

解決上述技術問題的難度：如何基于RCFile存儲結構的設計理念設計一個新的鍵值數(shù)據(jù)存儲結構，在支持數(shù)據(jù)壓縮和加密的同時，保持高可用性和較高地查詢效率是解決上述問題的難點。

解決上述技術問題的意義：解決上述問題可為大數(shù)據(jù)存儲提供更好的機密性和高效性保證，更適用于數(shù)據(jù)倉庫。

發(fā)明內(nèi)容

針對現(xiàn)有技術存在的問題，本發(fā)明提供了一種密文數(shù)據(jù)壓縮存儲結構RCPE及數(shù)據(jù)動態(tài)讀寫方法。