[發明專利]基于感受野準則的過濾器修剪方法

在審

• 申請號: 202210274586.5
• 申請日: 2022-03-21
• 公開（公告）號: CN114626522A
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 錢亞冠;康明;陶祥興;樓瓊;郭羽含;朱凱;何志強
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 成都方圓聿聯專利代理事務所(普通合伙) 51241
• 代理人: 茍銘

本發明公開了基于感受野準則的過濾器修剪方法，包括以下步驟：S1：構建感受野準則RFC模型，感受野準則是去衡量一個卷積核的重要性程度；S2：通過全局自適應濾波器搜索GAFS對模型進行全局閾值剪枝；本發明將感受野中的最大激活和信息熵結合變成卷積核度量準則然后運用到剪枝、本發明通過實驗每一層來找出最冗余的層，通過只剪枝一層來避免同時剪枝多層卷積核，避免將不同語義層的卷積核一起考慮剪枝。

技術領域

本發明涉及卷積神經網絡領域，特別是基于感受野準則的過濾器修剪方法。

背景技術

在過去的幾年中，卷積神經網絡(CNN)在各種計算機視覺任務中取得了最先進的性能。例如圖像分類，目標檢測，圖像超分辨率，風格遷移，如今成為了最主流的機器學習模型，并提出了不同網絡結構。然而，過度參數化仍然是在手機或者監控設備等邊緣智能中部署CNN的一個嚴峻挑戰。網絡的過參數化會造成網絡的存儲浪費和推理耗時，甚至造成網絡的過擬合。網絡剪枝是一種常用來壓縮模型的一種方法，它能使得網絡的結構大量的縮小同時保持網絡的學習能力的不變。而結構化剪枝(即主要修剪掉CNN整個卷積核)相比于非結構化剪枝(即主要修剪卷積核中的單個權重)不需要專門的工具就可以實現加速。通常結構化剪枝是去尋找最不重要的卷積核然后刪掉它們，所以衡量卷積核重要性是個非常重要的話題(即去設置一個分數函數T)。

現有技術一：

高效卷積神經網絡的剪枝濾波器，

如圖1所示：h,w代表特征圖的長和寬。n代表特征圖的數量。X代表整個特征圖。卷積核矩陣中每一列代表一個卷積核。則剪枝一個卷積核會響應剪枝下一層的特征圖和下一層卷積核的維度。

在圖1中的剪枝方案具體步驟有以下幾步：

1)計算卷積核中所有權值的絕對值之和。2)根據求和大小排列卷積核。3)刪除數值較小的卷積核(權重數值越小，代表權重的重要性越弱)4)對刪除之后生成新的。

現有技術一的缺點：

1、啟發式以卷積核權重去度量卷積核的重要性，沒有考慮小權重的卷積核可能會產生大輸出和大權重的卷積核可能會產生小輸出。

2、沒有考慮到各層卷積核本身語義的不同而直接一起考慮全局的卷積核。如vgg16有13層卷積層，直接將13層中所有卷積核進行排序并沒有考慮到各層卷積核語義的不同(淺層和深層的卷積核本身就存在重要性差異并不能直接進行比較)

現有技術二：

BN層具體操作流程；

在神經網絡計算中每一層的特征圖(一個通道由一個卷積核卷積而來，這一層所有的通道組成特征圖)都將經過一個BN層然后再進行下一步的計算，具體的BN層操作圖2所示，對于一個特征圖首先根據特征圖的所有像素點B＝{x1...m}計算均值和方差，然后再對每個像素點做標準化處理，最后對標準化后的每個像素點做重構變化得到BN層得輸出。其中γ和β參數是可以學習的。將原有的Batch Normalization層的γ參數看作為特征圖重要性評估(由BN層γ參數的含義可知特征圖的每個通道對應一個γ值，所以這個γ值相當于該通道的重要性)，然后將重要性低于某個閾值的通道剪掉，剪掉通道相當于生成這些通道的對應卷積核也被剪掉。

現有技術二的缺點：

1、直接根據BN層γ參數的大小作為卷積核重要性的度量，并沒有考慮小的γ參數的通道可能會比大的γ參數的通道產生更大的影響。

2、直接根據全局的γ參數的大小進行剪枝，并沒有考慮每一層的語義不同而不能將不同層卷積核交叉考慮。

現有技術三：

如圖3所示：圖3左邊為基礎網絡，圖3右邊為評分網絡。黃色conv是卷積核F，綠色為特征圖M，藍色基礎網絡中對于卷積核的掩碼u(0或1代表該卷積核是否被剪枝掉)，黃色是評分網絡中對于卷積核的掩碼v。