[發明專利]基于Gzip硬件實現文本壓縮方法

有效

• 申請號: 201710255484.8
• 申請日: 2017-04-19
• 公開（公告）號: CN107135003B
• 公開（公告）日: 2019-07-02
• 發明（設計）人: 雷杰;陳奕彤;李云松;王紹虎;趙靜
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H03M7/30
• 分類號: H03M7/30
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

本發明公開了一種基于Gzip硬件實現文本壓縮方法，主要解決目前文本壓縮處理速度緩慢、壓縮比不高的問題。本發明采用流水結構，將待壓縮文本在兩個緩存器按照交替讀取的方式無延時的讀入到文本壓縮處理器中，將計算單元同時處理，進行字典存儲地址的計算和標記有效信息，在字典中查找歷史字符串后用待處理字符串更新字典信息，然后進行匹配字符串和修剪匹配處理，對匹配壓縮文本，進行哈夫曼編碼，最終獲得并輸出壓縮文本的碼流。本發明具有處理速度快，壓縮比高，占用資源可擴充，易于不同規模FPGA進行實現。

技術領域

本發明屬于通信技術領域，更進一步涉及無損數據壓縮技術領域中的一種基于Gzip(GUNzip)硬件實現文本壓縮方法。本發明采用并行處理窗口對文本信息進行處理并且以全流水結構完成文本壓縮處理，可用于優化文本壓縮編碼硬件實現方法，尤其適用于實時文本壓縮處理。

背景技術

隨著大數據時代的來臨，大量多媒體數據需要在網絡上進行傳輸，需要占用大量的網絡資源，因此數據壓縮技術方面的研究十分重要。Gzip作為目前最流行的無損壓縮方法，被廣泛應用于網絡資料下載和數據備份等領域。

Gzip文本壓縮方法目前最知名的實現版本存在于由Jean-Loup Gailly和MarkAdler共同開發的開源ZLIB庫中，但是該版本是基于傳統的軟件實現方法，對數據進行順序處理。該方法存在的不足之處是：該方法在分析數據和壓縮編碼的過程都需要進行大量的計算以及查找，這樣的順序執行以及大量的運算量，導致處理速度緩慢。

M.S,Abdelfattah、A.Hagiescu和D.Singh在其發表的論文“Gzip on a chip:Highperformance lossless data compression on fpgas using opencl”(in InternationalWorkshop on OpenCL.2014：4)中提出了一種基于異構計算實現文本壓縮的方法。該方法提供了一種通過異構語言將中央處理器與硬件器件聯合處理的文本壓縮實現結構。其中包含的適用于硬件實現的文本壓縮方法，將原有串行文本壓縮結構修改為并行處理結構，相比于原有軟件實現方法的處理速度有所提升。該方法存在的不足之處是：該方法使用異構計算進行實現本文壓縮，對硬件實現部分沒有實現流水結構，導致該方法仍然存在一定的時鐘延遲導致處理吞吐率有所降低。而且該算法只適用于文本壓縮中固定大小的計算單元，導致適用規模單一，不能滿足對不同壓縮比以及不同硬件資源規模消耗的需求。

S.Rigler、W.Bishop和A.Kennings在其發表的論文“FPGA-Based Lossless DataCompression using Huffman and LZ77Algorithms”(In Proceedings of the CanadianConference on Electrical and Computer Engineering(CCECE),pages 1235-1238,April2007)中提出了一種基于硬件編碼語言VHDL對字典壓縮LZ77編碼以及哈夫曼編碼的硬件實現方法。該方法通過對應軟件代碼的實現方案，將文本壓縮中關鍵兩部分：字典壓縮部分以及哈夫曼編碼部分進行硬件實現。該方法存在的不足之處在于：對字典壓縮和哈夫曼編碼的硬件實現過程采用順序執行方法，并沒有進行結構的優化，處理過程耗費大量時鐘周期。而且該方法只對文本壓縮中兩個關鍵步驟進行硬件實現，并沒有實現完整的文本壓縮硬件實現方法。