[發(fā)明專利]卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110367961.6
• 申請(qǐng)日: 2021-04-06
• 公開(kāi)（公告）號(hào): CN112906874A
• 公開(kāi)（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 王中風(fēng);施禹伯;林軍
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 北京弘權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11363
• 代理人: 逯長(zhǎng)明;許偉群

1.一種卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法，其特征在于，包括特征圖通道重構(gòu)階段和零值比特圖編碼壓縮階段；

所述特征圖通道重構(gòu)階段包括以下步驟：

將原特征圖的通道維度從三維切分變化至二維，得到新特征圖；

將預(yù)設(shè)的一維離散余弦變換矩陣與所述新特征圖中的張量進(jìn)行矩陣相乘，得到頻域特征圖；

對(duì)所述頻域特征圖進(jìn)行低通濾波，得到稀疏特征圖；

所述零值比特圖編碼壓縮階段包括以下步驟：

獲取所述稀疏特征圖；

對(duì)所述稀疏特征圖進(jìn)行零值比特圖編碼壓縮，得到所述原特征圖的最終壓縮數(shù)據(jù)，所述原特征圖的最終壓縮數(shù)據(jù)將被存儲(chǔ)至硬件加速器的片外內(nèi)存中。

2.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法，其特征在于，所述方法還包括零值比特圖解壓縮階段和特征圖還原逆變換階段；

所述零值比特圖解壓縮階段包括以下步驟：

讀取硬件加速器片外內(nèi)存中的所述原特征圖的最終壓縮數(shù)據(jù)；

對(duì)所述原特征圖的最終壓縮數(shù)據(jù)進(jìn)行零值比特圖解壓縮，得到所述稀疏特征圖；

所述特征圖還原逆變換階段包括以下步驟：

將所述一維離散余弦變換矩陣的轉(zhuǎn)置矩陣與所述稀疏特征圖中的張量進(jìn)行矩陣相乘，得到二維特征圖；

將所述二維特征圖的通道維度轉(zhuǎn)換為三維，得到所述原特征圖的還原數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法，其特征在于，所述方法還包括：

在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，對(duì)所述特征圖通道重構(gòu)階段和所述特征圖還原逆變換階段進(jìn)行訓(xùn)練，重構(gòu)網(wǎng)絡(luò)權(quán)重。

4.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法，其特征在于，所述對(duì)所述頻域特征圖進(jìn)行低通濾波，得到稀疏特征圖，包括：

使用預(yù)設(shè)的頻域過(guò)濾器對(duì)所述頻域特征圖進(jìn)行廣播式哈達(dá)瑪積，實(shí)現(xiàn)對(duì)所述頻域特征圖的低通濾波，得到所述稀疏特征圖。

5.根據(jù)權(quán)利要求4所述的卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法，其特征在于，所述一維離散余弦變換矩陣為實(shí)正交矩陣，所述一維離散余弦變換矩陣滿足以下條件：

其中，A_ij表示所述一維離散余弦變換矩陣中坐標(biāo)為[i,j]的元素，N表示所述一維離散余弦變換矩陣的尺寸。

6.根據(jù)權(quán)利要求4所述的卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法，其特征在于，所述頻域過(guò)濾器滿足以下條件：

其中，M表示所述頻域過(guò)濾器，m表示所述頻域過(guò)濾器的帶寬，N表示所述一維離散余弦變換矩陣的尺寸。

7.根據(jù)權(quán)利要求5或6所述的卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法，其特征在于，N的取值為8。

8.一種卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮裝置，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮裝置應(yīng)用于權(quán)利要求1-7任一項(xiàng)所述的卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮方法，所述卷積神經(jīng)網(wǎng)絡(luò)特征圖數(shù)據(jù)壓縮裝置包括：特征圖通道重構(gòu)模塊和零值比特圖編碼壓縮模塊；

所述特征圖通道重構(gòu)模塊用于執(zhí)行以下步驟：

將原特征圖的通道維度從三維切分變化至二維，得到新特征圖；

將預(yù)設(shè)的一維離散余弦變換矩陣與所述新特征圖中的張量進(jìn)行矩陣相乘，得到頻域特征圖；

對(duì)所述頻域特征圖進(jìn)行低通濾波，得到稀疏特征圖；

所述零值比特圖編碼壓縮模塊用于執(zhí)行以下步驟：

獲取所述稀疏特征圖；

對(duì)所述稀疏特征圖進(jìn)行零值比特圖編碼壓縮，得到所述原特征圖的最終壓縮數(shù)據(jù)，所述原特征圖的最終壓縮數(shù)據(jù)將被存儲(chǔ)至硬件加速器的片外內(nèi)存中。