[發明專利]一種在線數據壓縮在存儲中的集成方法及系統

有效

• 申請號: 201710112767.7
• 申請日: 2017-02-28
• 公開（公告）號: CN106877877B
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 趙鵬
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: H03M7/30
• 分類號: H03M7/30;G06F3/06
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 張亮

1.一種在線數據壓縮在存儲中的集成方法，其特征在于，方法包括：

將IO數據寫入上層緩存中；

壓縮模塊根據預設的壓縮量將上層緩存中多個IO數據進行組合壓縮，形成組合壓縮IO數據塊；

壓縮模塊針對組合壓縮IO數據塊中的每個IO數據對應生成一元數據，元數據用于記錄壓縮前后的每個IO數據處于磁盤中的位置；

壓縮模塊將組合壓縮IO數據塊以及與該組合壓縮IO數據塊內部IO數據相對應的元數據下發給下層緩存；

下層緩存保存組合壓縮IO數據塊和元數據；

下層緩存將保存的組合壓縮IO數據塊和元數據保存到后端磁盤；

主機接口層接收讀IO數據請求，并在上層緩存中讀取IO數據；

若在上層緩存中讀取到所述IO數據，則將IO數據返回給主機接口層；

若在上層緩存中未讀取到所述IO數據，則將IO數據讀請求發送至壓縮模塊，在壓縮模塊中讀取IO數據；

若在壓縮模塊中讀取到所述IO數據，則將IO數據返回給上層緩存，繼而返回至主機接口層；

若在壓縮模塊中未讀取到所述IO數據，則將IO數據讀請求發送至下層緩存，在下層緩存讀取所述IO數據的元數據，根據元數據信息查找到對應的組合壓縮IO數據塊內的IO數據；

若在下層緩存中讀取到所述IO數據，則將IO數據所在的組合壓縮IO數據塊返回至壓縮模塊，壓縮模塊對所述組合壓縮IO數據塊進行解壓，恢復IO數據；

將IO數據返回給上層緩存，繼而返回至主機接口層；

若在下層緩存中未讀取到所述IO數據，則在后端磁盤讀取所述IO數據的元數據，根據元數據信息查找到對應的組合壓縮IO數據塊內的IO數據；

若在后端磁盤中讀取到所述IO數據，則將IO數據所在的組合壓縮IO數據塊返回至壓縮模塊，壓縮模塊對所述組合壓縮IO數據塊進行解壓，恢復IO數據；

將IO數據返回給上層緩存，繼而返回至主機接口層；

預設的壓縮量的獲取方式包括：

在上層緩存隨機抽取N個IO數據塊，N為非零的自然數，對抽取的IO數據塊進行組合壓縮，組合壓縮后計算出N個IO數據塊的平均MD5值，將該值作為預設的壓縮量。

2.一種在線數據壓縮在存儲中的集成系統，其特征在于，包括：上層緩存模塊，壓縮模塊，下層緩存模塊，后端磁盤，上層緩存IO數據處理模塊，壓縮模塊IO數據處理模塊，下層緩存IO數據處理模塊、后端磁盤數據處理模塊、預設的壓縮量設置模塊；

上層緩存模塊用于供IO數據寫入；

壓縮模塊用于根據預設的壓縮量將上層緩存模塊中多個IO數據進行組合壓縮，形成組合壓縮IO數據塊；壓縮模塊針對組合壓縮IO數據塊中的每個IO數據對應生成一元數據，元數據用于記錄壓縮前后的每個IO數據處于磁盤中的位置；

壓縮模塊將組合壓縮IO數據塊以及與該組合壓縮IO數據塊內部IO數據相對應的元數據下發給下層緩存模塊；

下層緩存模塊用于保存組合壓縮IO數據塊和元數據，并將保存的組合壓縮IO數據塊和元數據保存到后端磁盤；

上層緩存IO數據處理模塊用于根據主機接口層接收讀IO數據請求，上層緩存IO數據處理模塊在上層緩存模塊中讀取IO數據，若在上層緩存中讀取到所述IO數據，則將IO數據返回給主機接口層；

壓縮模塊IO數據處理模塊用于若在上層緩存模塊中未讀取到所述IO數據，上層緩存IO數據處理模塊將IO數據讀請求發送至壓縮模塊，壓縮模塊IO數據處理模塊在壓縮模塊中讀取IO數據；若在壓縮模塊中讀取到所述IO數據，則將IO數據返回給上層緩存，繼而返回至主機接口層；

下層緩存IO數據處理模塊用于若在壓縮模塊中未讀取到所述IO數據，則將IO數據讀請求發送至下層緩存模塊，下層緩存IO數據處理模塊在下層緩存模塊讀取所述IO數據的元數據，根據元數據信息查找到對應的組合壓縮IO數據塊內的IO數據；

若在下層緩存模塊中讀取到所述IO數據，則將IO數據所在的組合壓縮IO數據塊返回至壓縮模塊，壓縮模塊對所述組合壓縮IO數據塊進行解壓，恢復IO數據；

將IO數據返回給上層緩存模塊，繼而返回至主機接口層；

后端磁盤數據處理模塊用于若在下層緩存模塊中未讀取到所述IO數據，則在后端磁盤讀取所述IO數據的元數據，根據元數據信息查找到對應的組合壓縮IO數據塊內的IO數據；若在后端磁盤中讀取到所述IO數據，則將IO數據所在的組合壓縮IO數據塊返回至壓縮模塊，壓縮模塊對所述組合壓縮IO數據塊進行解壓，恢復IO數據；將IO數據返回給上層緩存模塊，繼而返回至主機接口層；

預設的壓縮量設置模塊用于在上層緩存模塊隨機抽取N個IO數據塊，N為非零的自然數，對抽取的IO數據塊進行組合壓縮，組合壓縮后計算出N個IO數據塊的平均MD5值，將該值作為預設的壓縮量。