[發(fā)明專利]一種數(shù)據(jù)壓縮電路

有效

• 申請(qǐng)?zhí)枺?/td>: 202010710080.5
• 申請(qǐng)日: 2020-07-22
• 公開（公告）號(hào): CN111817724B
• 公開（公告）日: 2022-03-22
• 發(fā)明（設(shè)計(jì)）人: 李樹青;王江;張永興;孫華錦
• 申請(qǐng)（專利權(quán)）人: 山東云海國(guó)創(chuàng)云計(jì)算裝備產(chǎn)業(yè)創(chuàng)新中心有限公司
• 主分類號(hào): H03M7/30
• 分類號(hào): H03M7/30
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 劉志紅

本發(fā)明公開了一種數(shù)據(jù)壓縮電路，包括：數(shù)據(jù)輸入模塊，用于按預(yù)設(shè)時(shí)間間隔讀取待壓縮數(shù)據(jù)，并對(duì)待壓縮數(shù)據(jù)進(jìn)行分組，得到分組數(shù)量的待壓縮數(shù)據(jù)組；索引計(jì)算模塊，用于并行計(jì)算待壓縮數(shù)據(jù)組的數(shù)據(jù)原文各自對(duì)應(yīng)的索引值；多端口索引表存儲(chǔ)模塊，用于查找索引值各自對(duì)應(yīng)的數(shù)據(jù)信息；匹配查找模塊，用于根據(jù)待壓縮數(shù)據(jù)組和數(shù)據(jù)信息，確定編碼輸出信息；編碼模塊，用于將編碼輸出信息編碼成對(duì)應(yīng)的比特流；本發(fā)明利用多端口索引表存儲(chǔ)模塊中存儲(chǔ)的索引表中的數(shù)據(jù)信息的查找輸出，避免了存儲(chǔ)整個(gè)搜索范圍內(nèi)的原文數(shù)據(jù)的輸入緩存的使用，降低了成本；并且利用預(yù)設(shè)數(shù)量的索引計(jì)算模塊的并行化處理架構(gòu)，一次處理多組輸入數(shù)據(jù)，提高了處理的吞吐率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)壓縮領(lǐng)域，特別涉及一種數(shù)據(jù)壓縮電路。

背景技術(shù)

隨著大數(shù)據(jù)、AI和5G等新興產(chǎn)業(yè)的迅速發(fā)展，產(chǎn)生的海量數(shù)據(jù)將呈指數(shù)級(jí)增長(zhǎng)，這些海量數(shù)據(jù)將對(duì)現(xiàn)有的存儲(chǔ)設(shè)備帶來(lái)巨大的壓力。而隨著云計(jì)算對(duì)傳統(tǒng)計(jì)算架構(gòu)的替代，數(shù)據(jù)存儲(chǔ)的結(jié)構(gòu)也在發(fā)生變化，計(jì)算資源和存儲(chǔ)資源將進(jìn)一步向數(shù)據(jù)中心集中，進(jìn)一步給服務(wù)器存儲(chǔ)帶來(lái)壓力。面對(duì)這些持續(xù)增加的海量數(shù)據(jù)，數(shù)據(jù)壓縮成為減輕服務(wù)器存儲(chǔ)負(fù)擔(dān)，降低存儲(chǔ)成本的有效方法之一

傳統(tǒng)的軟件壓縮的方式由于對(duì)CPU資源的大量消耗和較低壓縮吞吐率等因素的影響，已不能滿足當(dāng)前服務(wù)器的要求，高壓縮率、高吞吐率的硬件壓縮電路，將是未來(lái)的發(fā)展方向。

傳統(tǒng)的數(shù)據(jù)壓縮的硬件電路主流的實(shí)現(xiàn)方法是，將輸入的待壓縮數(shù)據(jù)保存在輸入緩存中，保存的長(zhǎng)度為整個(gè)由索引范圍定義的滑動(dòng)窗口的長(zhǎng)度；一次對(duì)N個(gè)字節(jié)的輸入數(shù)據(jù)進(jìn)行哈希運(yùn)算，根據(jù)哈希值去查找哈希表里找出對(duì)應(yīng)的地址鏈表；依次遍歷該地址鏈表，對(duì)于每一個(gè)地址，讀取輸入緩存中對(duì)應(yīng)的原文，并與當(dāng)前的輸入進(jìn)行比較，如果相等，則表示當(dāng)前數(shù)據(jù)匹配；然后不斷向后讀取輸入緩存的數(shù)據(jù)并與輸入數(shù)據(jù)比較，以尋求盡可能長(zhǎng)的匹配，這個(gè)長(zhǎng)度稱為該地址的匹配長(zhǎng)度；比較所有地址的匹配長(zhǎng)度，選出最長(zhǎng)的進(jìn)行輸出；最后，輸入向后移動(dòng)一個(gè)字節(jié)。然而，現(xiàn)有技術(shù)中數(shù)據(jù)壓縮的硬件電路需要使用輸入緩存，由于如LZ4(一種無(wú)損壓縮算法)協(xié)議的壓縮算法的搜索窗口長(zhǎng)達(dá)64KB，輸入緩存最小需要64KB的SRAM(靜態(tài)隨機(jī)存取存儲(chǔ)器)，而SRAM在芯片中是需要占用較大面積的，芯片成本和面積是成正比關(guān)系，使得硬件電路的成本較高；并且對(duì)于一塊輸入緩存，每個(gè)周期只能讀取一個(gè)數(shù)據(jù)，傳統(tǒng)的硬件電路需要多次讀取輸入緩存才能完成判斷，使得數(shù)據(jù)吞吐率和數(shù)據(jù)壓縮效率不高。

因此，如何能夠提供一種數(shù)據(jù)壓縮電路，提高數(shù)據(jù)吞吐率和數(shù)據(jù)壓縮效率，降低硬件成本，是現(xiàn)今急需解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種數(shù)據(jù)壓縮電路，以提高數(shù)據(jù)吞吐率和數(shù)據(jù)壓縮效率，降低硬件成本。

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種數(shù)據(jù)壓縮電路，包括：

數(shù)據(jù)輸入模塊，用于按預(yù)設(shè)時(shí)間間隔讀取待壓縮數(shù)據(jù)，并對(duì)所述待壓縮數(shù)據(jù)進(jìn)行分組，得到分組數(shù)量的待壓縮數(shù)據(jù)組；其中，待壓縮數(shù)據(jù)組包括數(shù)據(jù)原文和原文首地址；

預(yù)設(shè)數(shù)量的索引計(jì)算模塊，用于并行計(jì)算所述待壓縮數(shù)據(jù)組的數(shù)據(jù)原文各自對(duì)應(yīng)的索引值；其中，所述預(yù)設(shè)數(shù)量大于或等于所述分組數(shù)量；

多端口索引表存儲(chǔ)模塊，用于查找所述索引計(jì)算模塊輸出的所述索引值各自對(duì)應(yīng)的數(shù)據(jù)信息；其中，所述數(shù)據(jù)信息包括數(shù)據(jù)原文和原文首地址；

匹配查找模塊，用于根據(jù)所述待壓縮數(shù)據(jù)組和所述數(shù)據(jù)信息，確定編碼輸出信息；其中，所述編碼輸出信息包括數(shù)據(jù)原文、索引位置信息和連接長(zhǎng)度信息；

編碼模塊，用于按照預(yù)設(shè)數(shù)據(jù)壓縮協(xié)議的格式，將所述編碼輸出信息編碼成對(duì)應(yīng)的比特流。

可選的，該電路還包括：