[發明專利]一種在線數據壓縮在存儲中的集成方法及系統有效
| 申請號： | 201710112767.7 | 申請日： | 2017-02-28 |
| 公開（公告）號： | CN106877877B | 公開（公告）日： | 2020-11-27 |
| 發明（設計）人： | 趙鵬 | 申請（專利權）人： | 蘇州浪潮智能科技有限公司 |
| 主分類號： | H03M7/30 | 分類號： | H03M7/30;G06F3/06 |
| 代理公司： | 濟南舜源專利事務所有限公司 37205 | 代理人： | 張亮 |
| 地址： | 215100 江蘇省蘇州市吳*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 在線 數據壓縮 存儲 中的 集成 方法 系統 | ||
本發明提供一種在線數據壓縮在存儲中的集成方法及系統，將IO數據寫入上層緩存中；壓縮模塊根據預設的壓縮量將上層緩存中多個IO數據進行組合壓縮，形成組合壓縮IO數據塊；壓縮模塊針對組合壓縮IO數據塊中的每個IO數據對應生成一元數據，元數據用于記錄壓縮前后的每個IO數據處于磁盤中的位置；壓縮模塊將組合壓縮IO數據塊以及與該組合壓縮IO數據塊內部IO數據相對應的元數據下發給下層緩存；下層緩存保存組合壓縮IO數據塊和元數據；下層緩存將保存的組合壓縮IO數據塊和元數據保存到后端磁盤。數據經過壓縮后才會下發到后端磁盤，這樣利用較少的磁盤空間存儲較大的數據，提高磁盤的空間利用率和整個存儲系統的性能。
技術領域
本發明涉及數據存儲領域，尤其涉及一種在線數據壓縮在存儲中的集成方法及系統。
背景技術
當今社會數據量暴增，這個對整個IT的結構造成了嚴重的沖擊，尤其是磁盤容量的需求越來越大，這無疑增加了企業的成本。為了降低數據的存儲量，通常采用將數據壓縮后進行儲存，而傳統的壓縮一般是非實時壓縮，傳統壓縮首先是將數據存儲到后端磁盤，然后在存儲系統空閑的時候，從后端磁盤將數據讀取出來進行壓縮，壓縮完畢后將壓縮的IO存儲到磁盤，這樣數據壓縮無法預估數據的壓縮率，需要再次從磁盤讀取出來進行壓縮，壓縮數據是非實時生效的。
發明內容
為了克服上述現有技術中的不足，本發明提供一種在線數據壓縮在存儲中的集成方法，方法包括：
將IO數據寫入上層緩存中；
壓縮模塊根據預設的壓縮量將上層緩存中多個IO數據進行組合壓縮，形成組合壓縮IO數據塊；
壓縮模塊針對組合壓縮IO數據塊中的每個IO數據對應生成一元數據，元數據用于記錄壓縮前后的每個IO數據處于磁盤中的位置；
壓縮模塊將組合壓縮IO數據塊以及與該組合壓縮IO數據塊內部IO數據相對應的元數據下發給下層緩存；
下層緩存保存組合壓縮IO數據塊和元數據；
下層緩存將保存的組合壓縮IO數據塊和元數據保存到后端磁盤。
優選地，主機接口層接收讀IO數據請求，并在上層緩存中讀取IO數據；
若在上層緩存中讀取到所述IO數據，則將IO數據返回給主機接口層。
優選地，若在上層緩存中未讀取到所述IO數據，則將IO數據讀請求發送至壓縮模塊，在壓縮模塊中讀取IO數據；
若在壓縮模塊中讀取到所述IO數據，則將IO數據返回給上層緩存，繼而返回至主機接口層。
優選地，若在壓縮模塊中未讀取到所述IO數據，則將IO數據讀請求發送至下層緩存，在下層緩存讀取所述IO數據的元數據，根據元數據信息查找到對應的組合壓縮IO數據塊內的IO數據；
若在下層緩存中讀取到所述IO數據，則將IO數據所在的組合壓縮IO數據塊返回至壓縮模塊，壓縮模塊對所述組合壓縮IO數據塊進行解壓，恢復IO數據；
將IO數據返回給上層緩存，繼而返回至主機接口層。
優選地，若在下層緩存中未讀取到所述IO數據，則在后端磁盤讀取所述IO數據的元數據，根據元數據信息查找到對應的組合壓縮IO數據塊內的IO數據；
若在后端磁盤中讀取到所述IO數據，則將IO數據所在的組合壓縮IO數據塊返回至壓縮模塊，壓縮模塊對所述組合壓縮IO數據塊進行解壓，恢復IO數據；
將IO數據返回給上層緩存，繼而返回至主機接口層。
優選地，預設的壓縮量的獲取方式包括：
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于蘇州浪潮智能科技有限公司，未經蘇州浪潮智能科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710112767.7/2.html，轉載請聲明來源鉆瓜專利網。
