[發明專利]一種數據壓縮方法和裝置

在審

• 申請號: 201811222462.2
• 申請日: 2018-10-19
• 公開（公告）號: CN109445693A
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 畢波
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;H03M7/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本申請實施例公開了一種數據壓縮方法和裝置，在將數據寫入到目標存儲設備的過程中，若需要對數據進行壓縮，可以在數據寫入到目標存儲設備之前對數據進行壓縮，具體可以將寫入內存和非易失性隨機訪問存儲器的數據根據數據屬性劃分成至少一個數據塊，對至少一個數據塊分別進行壓縮，并將壓縮后的至少一個數據塊進行合并得到至少一個數據組。由于將壓縮后的數據塊進行合并，一個數據組中可能包括多個數據塊，這樣，在將至少一個數據組寫入目標存儲設備時，減少了針對目標存儲設備的寫入次數，在節省數據在目標存儲設備中占用的存儲空間的同時，延長了目標存儲設備的使用壽命。

技術領域

本申請涉及數據處理領域，特別是涉及一種數據壓縮方法和裝置。

背景技術

隨著存儲功能的不斷更新升級，向存儲設備中寫入的數據越來越多，占用了存儲設備大量的存儲空間，存儲設備例如可以是固態硬盤(Solid State Drives，簡稱SSD)、磁盤等。而使用壓縮功能，可以減小數據所占存儲空間的大小，使得存儲空間有數倍的節省，同樣的存儲空間可以存放更多的數據。

傳統的數據壓縮方法，主要是先將數據寫入存儲設備，然后對寫入存儲設備的數據進行壓縮，以減小寫入數據在存儲設備中所占存儲空間的大小。

傳統的數據壓縮方法由于是在數據寫入存儲設備后才對數據進行壓縮的，這種壓縮方法雖然可以起到較小數據占用存儲空間的作用，但是無法對數據寫入存儲設備的次數進行控制，尤其是在需要寫入存儲設備的數據較多時，需要對存儲設備進行寫入數據的次數會很多，影響存儲設備的使用壽命。

發明內容

為了解決上述技術問題，本申請提供了一種數據壓縮方法和裝置，減少了針對目標存儲設備的寫入次數，提高了目標存儲設備的使用壽命。

本申請實施例公開了如下技術方案：

第一方面，本申請實施例提供了一種數據壓縮方法，所述方法包括：

讀取寫入內存和非易失性隨機訪問存儲器中的數據；根據數據屬性將所述數據劃分成至少一個數據塊；

在所述內存和非易失性隨機訪問存儲器中對所述至少一個數據塊分別進行壓縮，并將壓縮后的至少一個數據塊進行合并得到至少一個數據組；

將所述至少一個數據組寫入存儲設備。

可選的，所述對所述至少一個數據塊分別進行壓縮之前，所述方法還包括：

分別判斷所述至少一個數據塊中是否存在重復數據；

若存在，則對包括重復數據的數據塊進行去重。

可選的，若所述至少一個數據塊中目標數據塊發生更新，所述方法還包括：

對更新后的目標數據塊進行壓縮，將壓縮后的更新的目標數據塊合并到新的數據組中；

將所述新的數據組寫入存儲設備。

可選的，若所述至少一個數據組為多個數據組，所述將所述至少一個數據組寫入存儲設備，包括：

將所述多個數據組按照預設順序依次寫入存儲設備。

可選的，壓縮過程所使用的壓縮算法為LZ4壓縮算法。

第二方面，本申請實施例提供了一種數據壓縮裝置，所述裝置包括讀取單元、劃分單元、第一壓縮單元和第一寫入單元：

所述讀取單元，用于讀取寫入內存和非易失性隨機訪問存儲器中的數據；

所述劃分單元，用于根據數據屬性將所述數據劃分成至少一個數據塊；

所述第一壓縮單元，用于在所述內存和非易失性隨機訪問存儲器中對所述至少一個數據塊分別進行壓縮，并將壓縮后的至少一個數據塊進行合并得到至少一個數據組；