[發(fā)明專利]卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法及裝置

在審

• 申請?zhí)枺?/td>: 202110367961.6
• 申請日: 2021-04-06
• 公開（公告）號: CN112906874A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 王中風(fēng);施禹伯;林軍
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京弘權(quán)知識產(chǎn)權(quán)代理有限公司 11363
• 代理人: 逯長明;許偉群

本申請公開了卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法及裝置，該方法包括特征圖通道重構(gòu)階段和零值比特圖編碼壓縮階段；特征圖通道重構(gòu)階段中，使用一維離散余弦變換對特征圖通道維進行重構(gòu)，利用頻域過濾器實現(xiàn)高頻信息過濾，得到稀疏度高于原特征圖的稀疏特征圖，然后在零值比特圖編碼壓縮階段對稀疏特征圖進行壓縮，得到所述原特征圖的最終壓縮數(shù)據(jù)。上述方法利用卷積神經(jīng)網(wǎng)絡(luò)的通道冗余，實現(xiàn)將有一定頻域特征的通道組重構(gòu)到一起，提升待傳輸數(shù)據(jù)的稀疏度，進而提升了被壓縮的潛力，隨后使用零值比特圖編碼壓縮對稀疏特征圖壓縮，提高了壓縮率。

技術(shù)領(lǐng)域

本申請涉及卷積神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法及裝置。

背景技術(shù)

在機器視覺領(lǐng)域中，以卷積神經(jīng)網(wǎng)絡(luò)為特征提取器的網(wǎng)絡(luò)架構(gòu)有著優(yōu)秀的準確率和很高的計算效率。卷積神經(jīng)網(wǎng)絡(luò)由數(shù)個甚至數(shù)百個卷積運算層堆疊連接，以二維平面卷積計算為基礎(chǔ)，對圖像進行特征提取，得到特征圖數(shù)據(jù)。

實際應(yīng)用中，通常會將卷積神經(jīng)網(wǎng)絡(luò)部署到硬件加速器或者別的低功耗器件中，特征圖數(shù)據(jù)由卷積神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)產(chǎn)生之后，傳輸至硬件加速器的片外內(nèi)存中，其中激活函數(shù)包括ReLU激活函數(shù)、LeakyReLU激活函數(shù)等。硬件加速器在計算時受限于芯片存儲空間，不能完整加載所有特征圖數(shù)據(jù)，由于特征圖數(shù)據(jù)量十分大，因此在傳輸過程中，將反復(fù)在硬件加速器芯片上進行讀取操作，這不僅對硬件加速器自身計算系統(tǒng)與自身內(nèi)存之間交互的帶寬提出一定的要求，而且也帶來了更多的能耗。

由于ReLU激活函數(shù)產(chǎn)生的特征圖數(shù)據(jù)具備一定的稀疏性，即大量的值為0，因此在將特征圖數(shù)據(jù)傳輸至硬件加速器片外內(nèi)存之前，通常采用零值比特圖編碼的方式，存儲非零值以及使用二進制比特圖記錄其位置，實現(xiàn)特征圖數(shù)據(jù)的壓縮，將壓縮后的特征圖數(shù)據(jù)作為計算系統(tǒng)與內(nèi)存之間交互的直接數(shù)據(jù)，可以降低數(shù)據(jù)處理量，減少硬件加速器能耗。

零值比特圖編碼具有壓縮率高的優(yōu)點，但同時也使得硬件復(fù)雜度更高。此外，有少部分硬件加速器提供了LeakyReLU該類激活函數(shù)的實現(xiàn)，該類激活函數(shù)產(chǎn)生的特征圖數(shù)據(jù)不具備較高的稀疏度，不適合使用前述零值比特圖編碼的方式進行數(shù)據(jù)壓縮，同時目前也沒有適用的、特別硬件高效的壓縮方法，一些可用的復(fù)雜編碼壓縮方案如LZW編碼、霍夫曼編碼等屬于硬件開銷較大、不適合用硬件實現(xiàn)的方案。因此，如何在實現(xiàn)更高壓縮率的同時，還能最大程度降低硬件復(fù)雜度成了本領(lǐng)域技術(shù)人員亟待解決的問題。

發(fā)明內(nèi)容

為了在提高壓縮率的同時最大程度降低硬件復(fù)雜度，本申請通過以下實施例公開了卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法及裝置。

本申請第一方面公開了一種卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法，包括特征圖通道重構(gòu)階段和零值比特圖編碼壓縮階段；

所述特征圖通道重構(gòu)階段包括以下步驟：

將原特征圖的通道維度從三維切分變化至二維，得到新特征圖；

將預(yù)設(shè)的一維離散余弦變換矩陣與所述新特征圖中的張量進行矩陣相乘，得到頻域特征圖；

對所述頻域特征圖進行低通濾波，得到稀疏特征圖；

所述零值比特圖編碼壓縮階段包括以下步驟：

獲取所述稀疏特征圖；

對所述稀疏特征圖進行零值比特圖編碼壓縮，得到所述原特征圖的最終壓縮數(shù)據(jù)，所述原特征圖的最終壓縮數(shù)據(jù)將被存儲至硬件加速器的片外內(nèi)存中。

可選的，所述方法還包括零值比特圖解壓縮階段和特征圖還原逆變換階段；

所述零值比特圖解壓縮階段包括以下步驟：

讀取硬件加速器片外內(nèi)存中的所述原特征圖的最終壓縮數(shù)據(jù)；

對所述原特征圖的最終壓縮數(shù)據(jù)進行零值比特圖解壓縮，得到所述稀疏特征圖；