[發(fā)明專利]一種用于圖像分類任務(wù)的濾波器剪枝方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202111530279.0
• 申請(qǐng)日: 2021-12-14
• 公開（公告）號(hào): CN114154626B
• 公開（公告）日: 2022-08-16
• 發(fā)明（設(shè)計(jì)）人: 鄭永斌;任強(qiáng);朱迪;徐婉瑩;白圣建;李興瑋;曹聚亮;孫鵬;楊東旭;吳欣寧
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍國(guó)防科技大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/063;G06N3/08
• 代理公司: 湖南企企衛(wèi)知識(shí)產(chǎn)權(quán)代理有限公司 43257
• 代理人: 任合明

1.一種用于圖像分類任務(wù)的濾波器剪枝方法，其特征在于：將待分類的圖像輸入預(yù)先剪枝后的卷積神經(jīng)網(wǎng)絡(luò)；利用所述剪枝后的卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類，獲得所述圖像的分類結(jié)果；其中所述剪枝后的卷積神經(jīng)網(wǎng)絡(luò)通過如下操作得到：針對(duì)一個(gè)L層的卷積神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練模型W，其使用的訓(xùn)練數(shù)據(jù)集為D，模型的第i層表示為其中表示維數(shù)分別為n_i、n_i-1、k_i和k_i、取值為實(shí)數(shù)的四維矩陣，n_i和k_i分別表示第i層的濾波器數(shù)量和卷積核大小；那么，模型第i層中的第j個(gè)濾波器可以表示成其中表示維數(shù)分別為n_i-1、k_i和k_i、取值為實(shí)數(shù)的三維矩陣；具體剪枝過程如下：

S1考慮剪枝直接影響的濾波器重要性評(píng)估

對(duì)于第i層來說，濾波器剪枝會(huì)造成濾波器數(shù)量的直接減少，剪枝時(shí)更傾向于剪掉本層中最不重要的濾波器，采用基于范數(shù)的方式來評(píng)估濾波器對(duì)于第i層的重要性，1≤i≤L：

其中，表示模型第i層中的第j個(gè)濾波器對(duì)于第i層的重要性，||·||₁表示L₁范數(shù)，min和max分別表示本層中范數(shù)值最小和最大的濾波器的索引；

S2考慮剪枝間接影響的濾波器重要性評(píng)估

對(duì)于第i+1層來說，濾波器剪枝造成的是濾波器通道數(shù)的減少，剪枝時(shí)更傾向于剪掉最不重要的通道所對(duì)應(yīng)的濾波器；通過評(píng)估不同通道在第i+1層中重要性來表示對(duì)應(yīng)濾波器對(duì)第i+1層的重要性，具體如下：

第i層中任一濾波器影響著第i+1層中所有濾波器的第j個(gè)通道，將這些通道提取出來，用其構(gòu)建一個(gè)具有n_i+1個(gè)通道的新濾波器其中，1≤i′≤L，“cat{·}”代表拼接操作，表示濾波器的第j個(gè)通道，其中1≤m≤n_i+1，表示維數(shù)分別為k_i+1和k_i+1、取值為實(shí)數(shù)的二維矩陣；最終對(duì)于第i層可以得到一個(gè)新建濾波器集合通過計(jì)算這些新構(gòu)建濾波器的范數(shù)值來表示其對(duì)應(yīng)通道的重要性，濾波器的范數(shù)值越大，其對(duì)應(yīng)的通道就越重要；

濾波器對(duì)于第i+1層的重要性可以表示為：

其中表示模型第i層中的第j個(gè)濾波器對(duì)于第i+1層的重要性，||·||₁表示L₁范數(shù)，min和max分別表示第i層中新構(gòu)建的濾波器集合中范數(shù)值最小和最大的濾波器的索引；

S3計(jì)算重要性綜合評(píng)估結(jié)果

根據(jù)公式(1)得到的濾波器對(duì)于第i層的重要性評(píng)估結(jié)果以及公式(2)得到的濾波器對(duì)于第i+1層的重要性評(píng)估結(jié)果，可以計(jì)算得到濾波器最終的重要性評(píng)估結(jié)果，即

其中，表示模型第i層中的第j個(gè)濾波器的重要性綜合評(píng)估結(jié)果；

S4確定待剪枝濾波器

設(shè)定第i層的預(yù)定義剪枝率為P_i，根據(jù)公式(3)計(jì)算得到的重要性綜合評(píng)估結(jié)果，從低到高選擇n_i×P_i個(gè)濾波器作為待剪枝濾波器；

S5實(shí)施濾波器剪枝

從i＝1到i＝L選定模型W中所有層的待剪枝濾波器之后，從W中刪除選定的待剪枝濾波器及其在下一層中對(duì)應(yīng)的濾波器通道，得到剪枝后的模型W'；

S6對(duì)剪枝后的模型W'重新訓(xùn)練

采用隨機(jī)梯度下降法，在訓(xùn)練數(shù)據(jù)集D上對(duì)剪枝后的模型W'進(jìn)行重新訓(xùn)練，得到最終的模型W*。

2.一種根據(jù)權(quán)利要求1所述用于圖像分類任務(wù)的濾波器剪枝方法，其特征在于：第i層的預(yù)定義剪枝率P_i的取值范圍為0≤P_i≤1。

3.一種根據(jù)權(quán)利要求2所述用于圖像分類任務(wù)的濾波器剪枝方法，其特征在于：第i層的預(yù)定義剪枝率P_i的取值為P_i＝0.5。

4.一種根據(jù)權(quán)利要求1至3任一項(xiàng)所述用于圖像分類任務(wù)的濾波器剪枝方法，其特征在于：S1中，也可以使用基于幾何中值的方法來評(píng)估濾波器對(duì)于第i層的重要性：

其中min和max分別表示本層中g(shù)(·)值最小和最大的濾波器的索引。