[發明專利]一種適用于深度神經網絡的通道剪枝方法

在審

• 申請號: 202011002072.1
• 申請日: 2020-09-22
• 公開（公告）號: CN112149803A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 陳彥明;聞翔;施巍松
• 申請（專利權）人: 安徽大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 合肥東邦滋原專利代理事務所(普通合伙) 34155
• 代理人: 李蕾

1.一種適用于深度神經網絡的通道剪枝方法，其特征在于：包括如下步驟：

步驟1：為了方便識別出不重要的通道，分別對卷積層權重和BN層縮放因子進行L1正則化，利用稀疏化方式訓練網絡模型；

步驟2：聯合卷積層權重和BN層縮放因子得到第l層通道重要性向量S_l(1≤l≤L)，結合所有層的通道重要性向量得到全局的通道重要性向量S；

步驟3：在剪枝過程中，若將某一層的所有通道都判斷為不重要的通道，則在該次剪枝中，取消對該層的剪枝操作，從而保留上一次剪枝后剩余的所有通道。

2.根據權利要求1所述的一種適用于深度神經網絡的通道剪枝方法，其特征在于：利用稀疏化方式訓練網絡模型時，其優化函數如下公式進行：

LOSS＝L(f(X，W)，y)+α₁R(W)+α₂R(γ)，

其中X表示輸入的數據集，y表示對應的標簽，W表示所有卷積層可訓練的權重集合，表示第l層卷積層權重，γ_l表示第l層的縮放因子，n_i+1是輸出通道，n_i是輸入通道，H是卷積核高，G是卷積核寬，γ是所有BN層縮放因子的集合，每一個輸出通道都對應著一個縮放因子，α₁和α₂用以平衡正常LOSS函數和稀疏正則化項的超參數，L(f(X，W)，y)是在數據集X上正常的LOSS函數，R(·)表示稀疏正則化項，在本發明中選擇在卷積層權重和BN層縮放因子上分別引入L1正則化以零輸出化不重要的通道，從而以便于聯合權重和縮放因子共同篩選出不重要的通道，將其刪除。

3.根據權利要求1所述的一種適用于深度神經網絡的通道剪枝方法，其特征在于：單個層通道重要性向量可以利用如下公式：

其中S_l是一個擁有n_i+1個數的向量，每一個值都代表著一個輸出通道的重要性，因為BN層的關系，僅僅考慮單個層會誤刪除重要的通道。

4.根據權利要求1所述的一種適用于深度神經網絡的通道剪枝方法，其特征在于：剪枝是在全局范圍內評估通道的重要性，因此可能出現某一層的所有通道都被評估為擁有較低的重要性，在剪枝時將會刪除全部的通道，即整個層被刪除，這將會破壞模型的結構。因此，在剪枝過程中，如果該層所有通道會被刪除，則在該次剪枝中，取消對該層的剪枝操作，從而保留上一次剪枝后剩余的所有通道。