[發(fā)明專利]一種基于feature map重要性得分的通道剪枝方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910853897.5
• 申請日: 2019-09-10
• 公開（公告）號: CN110555518A
• 公開（公告）日: 2019-12-10
• 發(fā)明（設(shè)計）人: 郝虹;高巖;姜凱;于治樓;李朋
• 申請（專利權(quán)）人: 山東浪潮人工智能研究院有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 37100 濟南信達專利事務(wù)所有限公司
• 代理人: 姜明

本發(fā)明公開了一種基于feature map重要性得分的通道剪枝方法及系統(tǒng)，屬于人工智能神經(jīng)網(wǎng)絡(luò)壓縮技術(shù)領(lǐng)域。本發(fā)明的基于feature map重要性得分的通道剪枝方法通過計算分類前一層神經(jīng)元對分類的重要性得分，并反向傳播該得分至前層所有神經(jīng)元，根據(jù)神經(jīng)元得分計算feature map得分，進而根據(jù)feature map得分選擇剪枝通道，再修正相應(yīng)kernel中的權(quán)重以減小feature map的重構(gòu)誤差。該發(fā)明的基于feature map重要性得分的通道剪枝方法能夠剪掉冗余通道的同時，減小對最終分類結(jié)果的影響，具有很好的推廣應(yīng)用價值。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能神經(jīng)網(wǎng)絡(luò)壓縮技術(shù)領(lǐng)域，具體提供一種基于feature map重要性得分的通道剪枝方法及系統(tǒng)。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)作為深度神經(jīng)網(wǎng)絡(luò)的一個重要種類，在圖像識別、人臉識別、文字識別等領(lǐng)域得到廣泛應(yīng)用，當(dāng)然也具有模型大、計算量大、耗費計算資源等問題。近幾年，研究卷積神經(jīng)網(wǎng)絡(luò)加速工作的機構(gòu)、企業(yè)、研究人員越來越多，研究方向主要為三類：優(yōu)化實施、量化和結(jié)構(gòu)化簡化。其中，結(jié)構(gòu)化簡化主要包括：張量分解、稀疏連接和通道剪枝，本發(fā)明主要針對通道剪枝進行改進。

通道剪枝問題可以分解為兩個子問題：剪枝通道選擇和feature map重構(gòu)，feature map即特征映像，在卷積神經(jīng)網(wǎng)絡(luò)運算中，傳統(tǒng)的神經(jīng)元在卷積層對應(yīng)的是feature map上的一點，即一個feature map由多個神經(jīng)元組成。現(xiàn)有技術(shù)方案中在剪枝通道選擇上使用LASSO回歸方法逐層剪枝，每一層的剪枝僅依賴于其輸出層的feature map，并未考慮修剪掉的通道對于最終輸出的影響，這種方法的一個問題是，在前層中被認(rèn)為不重要的通道實際上可能顯著地影響到后續(xù)層中重要的通道，越深的網(wǎng)絡(luò)這種問題越容易發(fā)生。

發(fā)明內(nèi)容

本發(fā)明的技術(shù)任務(wù)是針對上述存在的問題，提供一種能夠剪掉冗余通道的同時，減小對最終分類結(jié)果的影響的基于feature map重要性得分的通道剪枝方法。

本發(fā)明進一步的技術(shù)任務(wù)是提供一種基于feature map重要性得分的通道剪枝裝置。

為實現(xiàn)上述目的，本發(fā)明提供了如下技術(shù)方案：

一種基于feature map重要性得分的通道剪枝方法，該方法通過計算分類前一層神經(jīng)元對分類的重要性得分，并反向傳播該得分至前層所有神經(jīng)元，根據(jù)神經(jīng)元得分計算feature map得分，進而根據(jù)feature map得分選擇剪枝通道，再修正相應(yīng)kernel中的權(quán)重以減小feature map的重構(gòu)誤差。

作為優(yōu)選，該方法具體包括以下步驟：

S1、計算網(wǎng)絡(luò)倒數(shù)第二層所有神經(jīng)元對分類的重要性得分；

S2、反向傳播步驟S1中神經(jīng)元得分至前面所有層神經(jīng)元；

S3、以feature map為單位，綜合所有神經(jīng)元得分，計算每個feature map得分；

S4、根據(jù)feature map得分，逐層剪枝通道及其對應(yīng)的kernel，并最小化對應(yīng)輸出層feature map重構(gòu)誤差來修正權(quán)重。

作為優(yōu)選，該基于feature map重要性得分的通道剪枝方法還包括以下步驟：

S5、待所有層feature map剪枝完成，權(quán)重更新完成后，根據(jù)任務(wù)需要選擇重新對權(quán)重進行整體微調(diào)。

作為優(yōu)選，使用特征選擇方法計算網(wǎng)絡(luò)倒數(shù)第二層所有神經(jīng)元對分類的重要性得分，所述倒數(shù)第二層即為分類結(jié)果的前一層。

作為優(yōu)選，計算feature map的得分，包括求feature map上所有神經(jīng)元得分均值或求feature map上所有神經(jīng)元得分總和。

作為優(yōu)選，所述修正權(quán)重為在原始權(quán)重基礎(chǔ)上進行調(diào)整。