[發明專利]一種LZ編碼的壓縮方法、裝置、設備及存儲介質

在審

• 申請號: 201710852682.2
• 申請日: 2017-09-19
• 公開（公告）號: CN107565972A
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 史宏志
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: H03M7/30
• 分類號: H03M7/30
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

技術領域

本發明涉及數據計算技術領域，更具體地說，涉及一種LZ編碼的壓縮方法、裝置、設備及存儲介質。

背景技術

在云計算時代，海量數據傳輸需要占用超大的帶寬，嚴重影響了云計算數據中心中網絡傳輸的性能。為了提高海量數據傳輸時的性能，數據壓縮成為至關重要的步驟。

目前，正在使用的數據壓縮算法眾多，為了確保數據壓縮時不受損壞，LZ編碼是常用的壓縮算法之一。LZ編碼的主要實現過程即通過對比當前的輸入與之前的輸入，如果有滿足要求的相同部分即對相同部分使用length(相同的匹配長度)和offset(與當前匹配位置的距離)來替代當前輸入，如沒有匹配結果則原樣輸出，從而達到對輸入壓縮編碼的效果。在現有技術中，為了提高數據的壓縮效率，通常采用異構并行加速平臺并行化處理數據，但是，在異構并行加速平臺實現LZ編碼壓縮算法的過程中，需要犧牲部分匹配長度來滿足并行化處理的需求，從而使得LZ編碼的壓縮率有所降低。并且，LZ編碼通常與Huffman編碼共同實現gzip壓縮算法，而gzip壓縮算法通常運用于異構并行加速平臺，所以也使得在實現LZ編碼壓縮算法時，壓縮率有所降低，從而導致整個gzip壓縮算法的壓縮率降低。

因此，如何在異構并行加速平臺下提高LZ編碼的壓縮率，是本領域技術人員需要解決的問題。

發明內容

本發明的目的在于提供一種LZ編碼的壓縮方法、裝置、設備及存儲介質，以實現在異構并行加速平臺下提高LZ編碼的壓縮率。

為實現上述目的，本發明實施例提供了如下技術方案：

一種LZ編碼的壓縮方法，包括：

獲取待壓縮數據以及與所述待壓縮數據中的數組匹配的匹配長度和偏移量的集合；

從所述集合中獲取所述待壓縮數據中的數組的第一個有效匹配長度和第一個有效偏移量；

若所述有效偏移量與目標偏移量相等且所述有效匹配長度與目標匹配長度的和不大于預設的最大匹配長度，則將所述有效匹配長度更新為所述有效匹配長度與目標匹配長度的和，并更新所述集合；其中，所述目標偏移量和所述目標匹配長度分別為前次操作的待壓縮數據中的數組的最后一個有效偏移量和最后一個有效匹配長度；

將更新后的集合存儲至壓縮存儲器，得到壓縮數據。

其中，所述獲取與所述待壓縮數據中的數組匹配的匹配長度和偏移量的集合，包括：

計算所述待壓縮數據中每個數組的HASH值；

根據所述每個數組的HASH值獲取待匹配的字符串組；

根據預設的并行度將所述待壓縮數據中的數組與所述字符串組進行匹配，得到與所述待壓縮數據中的數組匹配的匹配長度和偏移量的集合。

其中，當不滿足所述有效偏移量與目標偏移量相等且所述有效匹配長度與目標匹配長度的和不大于預設的最大匹配長度這一條件時，所述壓縮方法還包括：

將所述集合存儲至所述壓縮存儲器，得到壓縮數據。

其中，所述將更新后的集合存儲至壓縮存儲器，得到壓縮數據之后，還包括：

將所述目標偏移量和所述目標匹配長度的存儲位置的標記減2。

一種LZ編碼的壓縮裝置，包括：

第一獲取模塊，用于獲取待壓縮數據以及與所述待壓縮數據中的數組匹配的匹配長度和偏移量的集合；

第二獲取模塊，用于從所述集合中獲取所述待壓縮數據中的數組的第一個有效匹配長度和第一個有效偏移量；

更新模塊，用于當所述有效偏移量與目標偏移量相等且所述有效匹配長度與目標匹配長度的和不大于預設的最大匹配長度，則將所述有效匹配長度更新為所述有效匹配長度與目標匹配長度的和，并更新所述集合；其中，所述目標偏移量和所述目標匹配長度分別為前次操作的待壓縮數據中的數組的最后一個有效偏移量和最后一個有效匹配長度；

第一存儲模塊，用于將更新后的集合存儲至壓縮存儲器，得到壓縮數據。

其中，所述第一獲取模塊包括：

計算單元，用于計算所述待壓縮數據中每個數組的HASH值；

獲取單元，用于根據所述每個數組的HASH值獲取待匹配的字符串組；

匹配單元，用于根據預設的并行度將所述待壓縮數據中的數組與所述字符串組進行匹配，得到與所述待壓縮數據中的數組匹配的匹配長度和偏移量的集合。

其中，還包括：

第二存儲模塊，用于當不滿足所述有效偏移量與目標偏移量相等且所述有效匹配長度與目標匹配長度的和不大于預設的最大匹配長度這一條件時，將所述集合存儲至所述壓縮存儲器，得到壓縮數據。

其中，還包括：