[發(fā)明專利]一種基于全局特征關(guān)系的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011225115.2
• 申請(qǐng)日: 2020-11-05
• 公開（公告）號(hào): CN112308213A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 彭紹亮;程英杰;王小奇;何芒芒;趙雄君;白亮;李肯立
• 申請(qǐng)（專利權(quán)）人: 湖南大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06K9/62
• 代理公司: 國(guó)防科技大學(xué)專利服務(wù)中心 43202
• 代理人: 王文惠

本發(fā)明屬于計(jì)算機(jī)科學(xué)領(lǐng)域，公開了一種基于全局特征關(guān)系的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法。本發(fā)明通過在卷積神經(jīng)網(wǎng)絡(luò)的批量歸一化(Batch Normalization,BN)層后面加入全局特征關(guān)系(Global Feature Relation,GFR)子模塊,實(shí)現(xiàn)提取通道關(guān)系并且抑制不重要通道的目的。GFR子模塊主要涉及到池化，全連接層和移動(dòng)平均運(yùn)算。隨后結(jié)合通道關(guān)系和BN層的通道尺度因子，評(píng)估每個(gè)通道的重要性程度，該指標(biāo)可以幫助模型壓縮方法更準(zhǔn)確的篩選出模型中重要的通道。最后利用通道剪枝算法和網(wǎng)格搜索技術(shù)，實(shí)現(xiàn)在無需微調(diào)模型的情況下，消耗較少的時(shí)間和計(jì)算資源完成網(wǎng)絡(luò)模型的壓縮，顯著降低模型的運(yùn)行內(nèi)存和存儲(chǔ)內(nèi)存，并加速模型的推斷速度，極大地提高了卷積神經(jīng)網(wǎng)絡(luò)在小型移動(dòng)設(shè)備上部署的可能性。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)科學(xué)領(lǐng)域，涉及人工智能技術(shù)應(yīng)用，具體涉及一種基于全局特征關(guān)系的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法。

背景技術(shù)

得益于GPU等計(jì)算平臺(tái)的深入發(fā)展，深度學(xué)習(xí)橫空出世，飛速發(fā)展，極大程度地縮小了科學(xué)和實(shí)際應(yīng)用之間存在的差距。以卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN) 為代表的深度學(xué)習(xí)模型在計(jì)算機(jī)視覺和自然語言處理領(lǐng)域均取得了驚人的成就。多種視覺任務(wù)例如模式識(shí)別，圖像分類，物體檢測(cè)等被很好地完成。

但傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)由于模型復(fù)雜，導(dǎo)致網(wǎng)絡(luò)模型占用內(nèi)存較大，并且推斷速度緩慢；這嚴(yán)重阻礙了卷積神經(jīng)網(wǎng)絡(luò)在手機(jī)和智能手環(huán)等移動(dòng)設(shè)備上的應(yīng)用。并且隨著模型的越發(fā)復(fù)雜，網(wǎng)絡(luò)模型中越容易出現(xiàn)無效神經(jīng)元。

發(fā)明內(nèi)容

為了解決上述技術(shù)存在的問題，本發(fā)明提供了一種基于全局特征關(guān)系的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法。該方法通過在卷積神經(jīng)網(wǎng)絡(luò)的批量歸一化(Batch Normalization,BN)層后面加入全局特征關(guān)系(Global Feature Relation,GFR)子模塊,實(shí)現(xiàn)提取通道關(guān)系并且抑制不重要通道的目的。GFR子模塊主要涉及到池化，全連接層和移動(dòng)平均運(yùn)算。隨后結(jié)合通道關(guān)系和 BN層的通道尺度因子，評(píng)估每個(gè)通道的重要性程度，該指標(biāo)可以幫助模型壓縮方法更準(zhǔn)確的篩選出模型中重要的通道。最后利用通道剪枝算法和網(wǎng)格搜索技術(shù)，實(shí)現(xiàn)在無需微調(diào)模型的情況下，消耗較少的時(shí)間和計(jì)算資源完成網(wǎng)絡(luò)模型的壓縮，顯著降低模型的運(yùn)行內(nèi)存和存儲(chǔ)內(nèi)存，并加速模型的推斷速度。

本發(fā)明所采用的技術(shù)方案是：

一種基于全局特征關(guān)系的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，包括以下步驟：

步驟1：在卷積神經(jīng)網(wǎng)絡(luò)模型的BN層后加入GFR子模塊，對(duì)網(wǎng)絡(luò)模型進(jìn)行稀疏化處理；

步驟2：重新訓(xùn)練模型，提取各個(gè)通道的關(guān)系因子sr和BN層的尺度因子γ；

步驟3：對(duì)每個(gè)通道的重要性程度進(jìn)行評(píng)估，然后根據(jù)通道的重要性程度對(duì)所有通道進(jìn)行排序；

步驟4：根據(jù)所有通道的排序結(jié)果，使用快速壓縮方法對(duì)模型進(jìn)行壓縮。

步驟1中，GFR子模塊包含三個(gè)操作：

(1)壓縮操作(F_sq)：將每個(gè)通道矩陣c_t∈R^H×W映射為單個(gè)信號(hào)z_t，其中H和W分別為通道矩陣的高和寬，采用全局平均池化完成，計(jì)算方式為：其中c_t(i,j)表示通道矩陣c_t中第i行第j列對(duì)應(yīng)的元素；