[發(fā)明專利]一種數(shù)據(jù)壓縮編碼處理的方法和設(shè)備

有效

• 申請?zhí)枺?/td>: 202110092257.4
• 申請日: 2021-01-23
• 公開（公告）號: CN112886967B
• 公開（公告）日: 2023-01-10
• 發(fā)明（設(shè)計(jì)）人: 秦臻;王振;徐江波;王金富
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: H03M7/30
• 分類號: H03M7/30
• 代理公司: 北京連和連知識產(chǎn)權(quán)代理有限公司 11278
• 代理人: 陳黎明;楊帆

本發(fā)明提供了一種數(shù)據(jù)壓縮編碼處理的方法和設(shè)備，該方法包括：獲取編碼對應(yīng)的樹形和閾值層數(shù)；判斷樹形對應(yīng)的層數(shù)是否超過閾值層數(shù)；響應(yīng)于有樹形的層數(shù)超過閾值層數(shù)，將超過閾值層數(shù)的樹形與未超過閾值層數(shù)的樹形進(jìn)行剪切與合并后形成新的樹形；將新的樹形轉(zhuǎn)化為新編碼。通過使用本發(fā)明的方案，能夠?qū)舴蚵鼧淙我獬L碼均有良好壓縮效果，為后續(xù)DEFLATE壓縮過程提供有效的保障，具有計(jì)算快捷簡便，效果穩(wěn)定的優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本領(lǐng)域涉及計(jì)算機(jī)領(lǐng)域，并且更具體地涉及一種數(shù)據(jù)壓縮編碼處理的方法和設(shè)備。

背景技術(shù)

近幾年來，隨著科學(xué)技術(shù)的不斷發(fā)展，數(shù)據(jù)信息呈現(xiàn)出爆炸式的增長。云計(jì)算的興起，人工智能的推進(jìn)，大數(shù)據(jù)時(shí)代的到來，新的工作負(fù)載不斷增大，海量數(shù)據(jù)傳輸和存儲的問題不斷引起關(guān)注，如何能夠高效的傳輸海量數(shù)據(jù)，同時(shí)不對處理器造成過于沉重負(fù)荷的問題亟待解決。如果能夠在文件傳輸時(shí)進(jìn)行預(yù)先壓縮，不僅可以節(jié)省數(shù)據(jù)流量，同時(shí)也降低了傳輸時(shí)間；如果在讀取磁盤文件之前對文件進(jìn)行壓縮，就可以提高文件讀取的速率；總而言之，壓縮數(shù)據(jù)從一個新的角度提供了改善計(jì)算機(jī)性能的方法，對其的研究具有重要的現(xiàn)實(shí)意義。

廣泛應(yīng)用的有效壓縮算法應(yīng)具備三個重要的特性：通用、無損、高壓縮比。通用是指源數(shù)據(jù)的一般性，很多數(shù)據(jù)由于其本身的編碼方式?jīng)Q定了其特殊性，根據(jù)這些特殊性進(jìn)行有針對性的研究可以大大提高壓縮效果，而這里我們關(guān)注的是適用于非特定數(shù)據(jù)的通用壓縮算法。無損是指數(shù)據(jù)壓縮后的編碼與源碼相比包含的信息量相同。高壓縮比是指壓縮后降低存儲空間比原存儲空間的結(jié)果盡可能大。就現(xiàn)狀而言，具有通用性的無損壓縮因數(shù)據(jù)特征未知且不允許信息丟失，造成壓縮效率難以得到大的提高而發(fā)展緩慢，使得無損壓縮成為必要的研究課題。

霍夫曼編碼是經(jīng)典無損壓縮標(biāo)準(zhǔn)DEFLATE(同時(shí)使用LZ77與霍夫曼Coding的一種無損數(shù)據(jù)壓縮方式)中重要的步驟，其中霍夫曼編碼分為靜態(tài)霍夫曼編碼和動態(tài)霍夫曼編碼，我們這里只對算法較復(fù)雜的動態(tài)霍夫曼編碼的算法作為研究。霍夫曼編碼是對數(shù)據(jù)經(jīng)過LZ77(一種基于字典的、“滑動窗”的無損壓縮算法)壓縮后的二次壓縮，又進(jìn)一步提高了壓縮率，它是通過統(tǒng)計(jì)字符出現(xiàn)次數(shù)，對數(shù)據(jù)處理的可變長編碼，利用字符出現(xiàn)的次數(shù)，構(gòu)造霍夫曼二叉樹，從樹的葉子節(jié)點(diǎn)到根節(jié)點(diǎn)進(jìn)行編碼，出現(xiàn)的越多的字符讓短一些的碼替換，同時(shí)次數(shù)少的字符被長一些的碼替換掉，可以實(shí)現(xiàn)數(shù)據(jù)的總體大小減小，達(dá)到壓縮的目的。然而，由于數(shù)據(jù)信息的復(fù)雜程度不同或是數(shù)據(jù)塊的長度不同，霍夫曼樹的形狀差異很大。但為了壓縮效果和編碼效率，一般會設(shè)定一個最大碼長，也就是霍夫曼樹最大的深度。在上述霍夫曼樹生成的過程中，無法保證其深度不超過規(guī)定深度。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例的目的在于提出一種數(shù)據(jù)壓縮編碼處理的方法和設(shè)備，通過使用本發(fā)明的技術(shù)方案，能夠?qū)舴蚵鼧淙我獬L碼均有良好壓縮效果，為后續(xù)DEFLATE壓縮過程提供有效的保障，具有計(jì)算快捷簡便，效果穩(wěn)定的優(yōu)點(diǎn)。

基于上述目的，本發(fā)明的實(shí)施例的一個方面提供了一種數(shù)據(jù)壓縮編碼處理的方法，包括以下步驟：

獲取編碼對應(yīng)的樹形和閾值層數(shù)；

判斷樹形對應(yīng)的層數(shù)是否超過閾值層數(shù)；

響應(yīng)于有樹形的層數(shù)超過閾值層數(shù)，將超過閾值層數(shù)的樹形與未超過閾值層數(shù)的樹形進(jìn)行剪切與合并后形成新的樹形；

將新的樹形轉(zhuǎn)化為新編碼。

根據(jù)本發(fā)明的一個實(shí)施例，響應(yīng)于有樹形的層數(shù)超過閾值層數(shù)，將超過閾值層數(shù)的樹形與未超過閾值層數(shù)的樹形進(jìn)行剪切與合并后形成新的樹形包括：

判斷閾值層數(shù)的下一層的樹形中是否有葉子節(jié)點(diǎn)；

響應(yīng)于閾值層數(shù)的下一層的樹形中有葉子節(jié)點(diǎn)，取出葉子節(jié)點(diǎn)和對應(yīng)的父節(jié)點(diǎn)；

從距閾值層數(shù)最近的上層的樹形節(jié)點(diǎn)中取出第一葉子節(jié)點(diǎn)并將對應(yīng)的父節(jié)點(diǎn)、葉子節(jié)點(diǎn)和第一葉子節(jié)點(diǎn)組成子樹；