[發(fā)明專利]一種數(shù)據(jù)壓縮方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711049408.8
• 申請(qǐng)日: 2017-10-31
• 公開(kāi)（公告）號(hào): CN107888197B
• 公開(kāi)（公告）日: 2021-08-13
• 發(fā)明（設(shè)計(jì)）人: 張劍;牛進(jìn)保;全紹暉;冷繼南
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): H03M7/30
• 分類號(hào): H03M7/30;H03M7/40
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 王洪

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)壓縮方法和裝置，其中，所述方法包括：從第一壓縮數(shù)據(jù)中提取特征信息，其中，所述第一壓縮數(shù)據(jù)是采用第一壓縮算法對(duì)初始數(shù)據(jù)進(jìn)行壓縮得到的；依據(jù)所述特征信息構(gòu)造中間數(shù)據(jù)，其中，所述中間數(shù)據(jù)包括：未匹配字段、匹配偏移量和匹配長(zhǎng)度；采用第二壓縮算法對(duì)所述中間數(shù)據(jù)進(jìn)行壓縮；進(jìn)而本發(fā)明實(shí)施例能夠利用第二壓縮算法對(duì)第一壓縮數(shù)據(jù)進(jìn)行壓縮，省略了將第一壓縮數(shù)據(jù)的解壓的過(guò)程，從而節(jié)約了將第一壓縮數(shù)據(jù)轉(zhuǎn)換為第二壓縮數(shù)據(jù)的時(shí)間，提高了數(shù)據(jù)壓縮的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)壓縮方法和裝置。

背景技術(shù)

隨著信息技術(shù)的快速發(fā)展，數(shù)據(jù)量不斷的增加，對(duì)數(shù)據(jù)的存儲(chǔ)效率的需求也不斷提高；為了節(jié)約存儲(chǔ)成本，盡可能在有限的存儲(chǔ)空間內(nèi)存放較多的數(shù)據(jù)，通常會(huì)將數(shù)據(jù)壓縮后進(jìn)行存儲(chǔ)，以減小數(shù)據(jù)占用的空間。

其中，存儲(chǔ)領(lǐng)域常用的壓縮算法分為兩類，第一類是壓縮率相對(duì)較低但性能相對(duì)較高的算法如Lz4算法，可稱為初級(jí)壓縮算法，第二類是壓縮率相對(duì)較高而性能相對(duì)較低的算法如Brotli算法，可稱為深度壓縮；通常，對(duì)經(jīng)常被訪問(wèn)的數(shù)據(jù)采用初級(jí)壓縮算法進(jìn)行壓縮并存儲(chǔ)在對(duì)應(yīng)的區(qū)域A，而對(duì)于不經(jīng)常被訪問(wèn)的數(shù)據(jù)采用深度壓縮算法進(jìn)行壓縮并存儲(chǔ)在對(duì)應(yīng)的區(qū)域B。

而在數(shù)據(jù)生命周期中，同一數(shù)據(jù)在不同階段的訪問(wèn)頻率是不同的，例如，區(qū)域A中一份經(jīng)常被訪問(wèn)數(shù)據(jù)在經(jīng)過(guò)一段時(shí)間后，其訪問(wèn)頻率大大降低，則成為不經(jīng)常被訪問(wèn)的數(shù)據(jù)；此時(shí)可將區(qū)域A中的該數(shù)據(jù)采用初級(jí)壓縮算法對(duì)應(yīng)的解壓算法進(jìn)行解壓，然后再采用深度壓縮算法對(duì)采用初級(jí)壓縮算法對(duì)應(yīng)的解壓算法進(jìn)行解壓得到的數(shù)據(jù)進(jìn)行壓縮，得到壓縮率相對(duì)高的數(shù)據(jù)并存儲(chǔ)在區(qū)域B中；因此，在將采用初級(jí)壓縮算法壓縮的壓縮數(shù)據(jù)，轉(zhuǎn)換為深度壓縮算法壓縮對(duì)應(yīng)的壓縮數(shù)據(jù)時(shí)，需要經(jīng)過(guò)解壓和壓縮兩個(gè)過(guò)程，壓縮效率低。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例所要解決的技術(shù)問(wèn)題是提供一種數(shù)據(jù)壓縮方法，以提高數(shù)據(jù)壓縮的效率。

相應(yīng)的，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)壓縮裝置，用以保證上述方法的實(shí)現(xiàn)及應(yīng)用。

為了實(shí)現(xiàn)上述目的，本發(fā)明公開(kāi)了如下技術(shù)方案：

第一方面，提供一種數(shù)據(jù)壓縮方法，該方法包括：在對(duì)第一壓縮數(shù)據(jù)進(jìn)行壓縮時(shí)，從第一壓縮數(shù)據(jù)中提取特征信息，然后依據(jù)提取的特征信息構(gòu)造中間數(shù)據(jù)，再采用第二壓縮算法對(duì)構(gòu)造的中間數(shù)據(jù)進(jìn)行壓縮，得到第二壓縮數(shù)據(jù)；進(jìn)而直接利用第二壓縮算法對(duì)第一壓縮數(shù)據(jù)進(jìn)行壓縮，相比于現(xiàn)有技術(shù)省略了對(duì)第一壓縮數(shù)據(jù)的解壓的過(guò)程，從而節(jié)約了將第一壓縮數(shù)據(jù)轉(zhuǎn)換為第二壓縮數(shù)據(jù)的時(shí)間，提高了數(shù)據(jù)壓縮的效率。

結(jié)合第一方面，在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述第一壓縮數(shù)據(jù)包括元組信息，所述元組信息由未匹配字段的編碼字段、匹配偏移量的編碼字段和長(zhǎng)度的編碼字段組成；在從第一壓縮數(shù)據(jù)中提取特征信息的過(guò)程中，從元組信息的未匹配字段的編碼字段中提取字段信息、從元組信息的匹配偏移量的編碼字段提取偏移量信息、以及從元組信息的長(zhǎng)度的編碼字段提取長(zhǎng)度信息，即所述特征信息可包括字段信息、偏移量信息和長(zhǎng)度信息；進(jìn)而從第一壓縮數(shù)據(jù)的元組信息中直接提取特征信息，提高了特征信息提取效率。

結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第一方面的第二種可能的實(shí)現(xiàn)方式中，所述中間數(shù)據(jù)包括未匹配字段、匹配偏移量和匹配長(zhǎng)度，可采用如下方式構(gòu)造中間數(shù)據(jù)：采用所述字段信息構(gòu)造未匹配字段，采用所述偏移量信息構(gòu)造匹配偏移量，以及采用所述長(zhǎng)度信息構(gòu)造匹配度。

結(jié)合第一方面的第二種可能的實(shí)現(xiàn)方式，在第一方面的第三種可能的實(shí)現(xiàn)方式中，當(dāng)所述第一壓縮數(shù)據(jù)包括至少兩組元組信息時(shí)，所述特征信息也多于一組，則可分別采用如下方法構(gòu)造未匹配字段、匹配偏移量和匹配長(zhǎng)度：將至少兩組元組信息中的字段信息進(jìn)行拼接得到所述未匹配字段；將至少兩組元組信息中的偏移量信息進(jìn)行拼接得到所述匹配偏移量；將至少兩組元組信息中的長(zhǎng)度信息進(jìn)行拼接得到所述匹配長(zhǎng)度。