[發(fā)明專利]一種適用于deflate格式的Huffman壓縮編碼字符頻率統(tǒng)計裝置

有效

• 申請?zhí)枺?/td>: 202210298076.1
• 申請日: 2022-03-25
• 公開（公告）號: CN114401013B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設計）人: 王振;劉宇豪;馬孔明;王明明;張茜
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: H03M7/40
• 分類號: H03M7/40;H03M7/30
• 代理公司: 北京連和連知識產(chǎn)權(quán)代理有限公司 11278
• 代理人: 陳黎明;黃艷南

本發(fā)明提供了一種適用于deflate格式的Huffman壓縮編碼字符頻率統(tǒng)計裝置，裝置包括：字節(jié)統(tǒng)計單元配置為接收經(jīng)過LZ77編碼后的數(shù)據(jù)并統(tǒng)計接收數(shù)據(jù)的總量；頻率統(tǒng)計單元包括頻率分配模塊和頻率組合模塊，頻率分配模塊配置為接收字節(jié)統(tǒng)計單元發(fā)送的數(shù)據(jù)，并統(tǒng)計數(shù)據(jù)中每個類型的字節(jié)出現(xiàn)的頻率，頻率組合模塊配置為將頻率分配模塊統(tǒng)計出的頻率進行累加；數(shù)據(jù)流控制單元配置為接收字節(jié)統(tǒng)計單元發(fā)送的數(shù)據(jù)，并根據(jù)字節(jié)統(tǒng)計單元統(tǒng)計的接收數(shù)據(jù)的總量和字節(jié)統(tǒng)計單元發(fā)送數(shù)據(jù)的量和類型控制字節(jié)統(tǒng)計單元接收數(shù)據(jù)。通過使用本發(fā)明的方案，能夠提升整個壓縮系統(tǒng)的吞吐率，能夠最大限度發(fā)揮硬件的并行計算的特點，提升硬件電路的效率。

技術領域

本發(fā)明涉及計算機領域，并且更具體地涉及一種適用于deflate格式的Huffman壓縮編碼字符頻率統(tǒng)計裝置。

背景技術

隨著時代的發(fā)展，人們使用和獲取數(shù)據(jù)信息不再單純的來自于書本，雜志，報刊等。同時伴隨著移動互聯(lián)，5G，社交網(wǎng)絡，物聯(lián)網(wǎng)，大數(shù)據(jù)，人工智能(AI)，云計算，安全監(jiān)控等技術的成熟與發(fā)展，使得各種數(shù)據(jù)正迅速的膨脹并變大，呈爆炸性增長的趨勢。5G正在加速普及，越來越多的設備和便捷的聯(lián)網(wǎng)條件給存儲市場帶來了前所未有的機會。隨著數(shù)據(jù)量的急劇增長，不斷對數(shù)據(jù)存儲系統(tǒng)提出挑戰(zhàn)。在所有這些技術當中，云計算技術相當于人的大腦，提供著大容量的數(shù)據(jù)存儲以及高效的計算方式，計算資源和存儲資源也更加集中。但是同時使得產(chǎn)生的海量的數(shù)據(jù)指數(shù)級增長，對現(xiàn)有的存儲設備帶來了巨大的壓力。如何能夠高效的傳輸和存儲海量數(shù)據(jù)，同時對CPU不造成過大負荷影響的問題成為關鍵。因此，高效安全的數(shù)據(jù)壓縮技術成為降低存儲成本，節(jié)省存儲資源有效方法。同時如果將壓縮和解壓縮任務交給專用硬件電路處理，會大幅減少CPU的負荷，并且在提升存儲性能方面非常可觀。

Deflate是一種無損壓縮標準，是由LZ77編碼和霍夫曼編碼組合的編碼形式。Deflate中使用的霍夫曼編碼就是“范式霍夫曼編碼”，范式霍夫曼編碼最早由Schwartz提出，它是霍夫曼編碼的一個子集。其中心思想是使用某些強制的約定，僅通過很少的數(shù)據(jù)便能重構(gòu)出霍夫曼編碼樹的結(jié)構(gòu)。

霍夫曼編碼是對數(shù)據(jù)經(jīng)過 LZ77 壓縮后的二次壓縮，又進一步提高了壓縮率，它是通過統(tǒng)計字符出現(xiàn)次數(shù)，對數(shù)據(jù)處理的可變長編碼，利用字符出現(xiàn)的次數(shù)構(gòu)造霍夫曼二叉樹，從樹的葉子節(jié)點到根節(jié)點進行編碼，出現(xiàn)的越多的字符讓短一些的碼替換，同時出現(xiàn)次數(shù)少的字符被長一些的碼替換掉，可以實現(xiàn)數(shù)據(jù)的總體大小減小，達到壓縮的目的。

Deflate格式的哈夫曼編碼是LZ77編碼和哈夫曼編碼的組合編碼形式。數(shù)據(jù)首先經(jīng)過LZ77編碼后以Literal，Length，Distance三種形式存在。然后對Literal，Length，Distance出現(xiàn)的頻次進行統(tǒng)計（將Literal和Length作為一類信息和Distance分別進行統(tǒng)計），針對統(tǒng)計到的不同頻次，出現(xiàn)頻次高的字符在哈夫曼編碼時碼長短，出現(xiàn)頻次低的字符哈夫曼編碼時碼長，目前針對deflate格式Huffman壓縮編碼的字符頻次統(tǒng)計都是通過軟件方式按照字節(jié)進行統(tǒng)計，統(tǒng)計效率比較低，驗證影響系統(tǒng)編碼性能，并且目前尚無相關硬件統(tǒng)計裝置。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例的目的在于提出一種適用于deflate格式的Huffman壓縮編碼字符頻率統(tǒng)計裝置，通過使用本發(fā)明的技術方案，能夠提升整個壓縮系統(tǒng)的吞吐率，能夠最大限度發(fā)揮硬件的并行計算的特點，提升硬件電路的效率，該裝置具有擴展性，通過傳參的方式可以支持不同的統(tǒng)計數(shù)量。

基于上述目的，本發(fā)明的實施例的一個方面提供了一種適用于deflate格式的Huffman壓縮編碼字符頻率統(tǒng)計裝置，包括：

字節(jié)統(tǒng)計單元，字節(jié)統(tǒng)計單元配置為接收經(jīng)過LZ77編碼后的數(shù)據(jù)并統(tǒng)計接收數(shù)據(jù)的總量；

頻率統(tǒng)計單元，頻率統(tǒng)計單元包括頻率分配模塊和頻率組合模塊，頻率分配模塊配置為接收字節(jié)統(tǒng)計單元發(fā)送的數(shù)據(jù)，并統(tǒng)計數(shù)據(jù)中每個類型的字節(jié)出現(xiàn)的頻率，頻率組合模塊配置為將頻率分配模塊統(tǒng)計出的頻率進行累加；