[發(fā)明專利]一種數(shù)據(jù)壓縮方法、設備和計算機可讀存儲介質

在審

• 申請?zhí)枺?/td>: 201711367861.3
• 申請日: 2017-12-18
• 公開（公告）號: CN108197168A
• 公開（公告）日: 2018-06-22
• 發(fā)明（設計）人: 何慶;鄧曉東;許敬偉;馮運波;江為強;安寶宇;周曉陽;湯泰鼎;魏星
• 申請（專利權）人: 中國移動通信集團廣東有限公司;北京天融信網(wǎng)絡安全技術有限公司;北京天融信科技有限公司;北京天融信軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/22
• 代理公司: 工業(yè)和信息化部電子專利中心 11010
• 代理人: 吳永亮

本發(fā)明提出了一種數(shù)據(jù)壓縮方法、設備和計算機可讀存儲介質，該方法包括：接收待訓練的數(shù)據(jù)流，并獲取預設的最小壓縮速率；分別采用不同的壓縮算法對所述待訓練的數(shù)據(jù)流進行壓縮，并分別計算出每種壓縮算法的壓縮速率和壓縮率；將壓縮速率大于所述預設的最小壓縮速率且壓縮率最大的壓縮算法設置為所述待訓練的數(shù)據(jù)流的最優(yōu)壓縮算法。本發(fā)明主要綜合壓縮速率和壓縮率兩個指標，智能化選取數(shù)據(jù)流的最優(yōu)壓縮算法，在滿足系統(tǒng)設置的壓縮速率要求的前提下，選取壓縮率最高的壓縮算法為最優(yōu)壓縮算法，從而降低了壓縮算法的選取難度。

技術領域

本發(fā)明涉及數(shù)據(jù)存儲和管理技術領域，尤其涉及一種數(shù)據(jù)壓縮方法、設備和計算機可讀存儲介質。

背景技術

隨著信息化的發(fā)展和大數(shù)據(jù)時代的來臨，數(shù)據(jù)量呈爆炸式增長，為了支撐海量數(shù)據(jù)環(huán)境下數(shù)據(jù)的統(tǒng)計分析應用，現(xiàn)有技術多采用列式結構進行數(shù)據(jù)的存儲。同時，為了減少數(shù)據(jù)的存儲量，提高數(shù)據(jù)的存儲效率，通常先將數(shù)據(jù)進行壓縮后再進行存儲，從而降低存儲的數(shù)據(jù)量。但是，在采用列式結構進行數(shù)據(jù)的存儲中，由于不同列的數(shù)據(jù)類型不同，同一壓縮算法對于不同列的壓縮率也可能會產(chǎn)生較大差異，從而采用同一種壓縮算法不能最大化系統(tǒng)的壓縮率。

發(fā)明內(nèi)容

本發(fā)明要解決的技術問題是，提供一種數(shù)據(jù)壓縮方法、設備和計算機可讀存儲介質，可以智能化選取數(shù)據(jù)流的最優(yōu)壓縮算法，降低了壓縮算法的選取難度。

本發(fā)明采用的技術方案是，所述數(shù)據(jù)壓縮方法，包括：

接收待訓練的數(shù)據(jù)流，并獲取預設的最小壓縮速率；

分別采用不同的壓縮算法對所述待訓練的數(shù)據(jù)流進行壓縮，并分別計算出每種壓縮算法的壓縮速率和壓縮率；

將壓縮速率大于所述預設的最小壓縮速率且壓縮率最大的壓縮算法設置為所述待訓練的數(shù)據(jù)流的最優(yōu)壓縮算法。

可選的，在得到所述待訓練的數(shù)據(jù)流的最優(yōu)壓縮算法之后，所述方法還包括：

獲取所述待訓練的數(shù)據(jù)流的類型標識；

將所述類型標識、所述最優(yōu)壓縮算法、所述最優(yōu)壓縮算法的壓縮率、以及所述預設的最小壓縮速率存儲到預設的壓縮知識庫中；

建立所述類型標識、所述最優(yōu)壓縮算法、所述最優(yōu)壓縮算法的壓縮率、以及所述預設的最小壓縮速率之間的關聯(lián)關系。

可選的，在得到所述待訓練的數(shù)據(jù)流的最優(yōu)壓縮算法之后，所述方法還包括：

接收待壓縮的數(shù)據(jù)流，并獲取所述待壓縮的數(shù)據(jù)流的類型標識；

根據(jù)所述類型標識從所述預設的壓縮知識庫中查找相應的最優(yōu)壓縮算法；

利用查找到的最優(yōu)壓縮算法對所述待壓縮的數(shù)據(jù)流進行壓縮。

可選的，在所述利用查找到的最優(yōu)壓縮算法對所述待壓縮的數(shù)據(jù)流進行壓縮之后，所述方法還包括：

計算利用查找到的最優(yōu)壓縮算法對所述待壓縮的數(shù)據(jù)流進行壓縮時的壓縮速率和壓縮率；

判斷計算出的壓縮速率是否小于所述預設的最小壓縮速率，或者所述最優(yōu)壓縮算法的壓縮率與計算出的壓縮率的差值是否大于預設閾值；

若是，則重新設置與所述待壓縮的數(shù)據(jù)流的類型標識相對應的最優(yōu)壓縮算法。

可選的，所述重新設置與所述待壓縮的數(shù)據(jù)流的類型標識相對應的最優(yōu)壓縮算法，包括：

根據(jù)當前接收到的待壓縮的數(shù)據(jù)流，重新設置與所述待壓縮的數(shù)據(jù)流的類型標識相對應的最優(yōu)壓縮算法；或者，

根據(jù)下次接收到的所述類型標識的待壓縮的數(shù)據(jù)流，重新設置與所述類型標識相對應的最優(yōu)壓縮算法。

本發(fā)明還提供一種數(shù)據(jù)壓縮設備，包括：處理器、存儲器及通信總線；