[發(fā)明專利]基于特征冗余分析的神經網絡跨層剪枝方法

有效

• 申請?zhí)枺?/td>: 201810474089.3
• 申請日: 2018-05-17
• 公開（公告）號: CN108764471B
• 公開（公告）日: 2020-04-14
• 發(fā)明（設計）人: 董偉生;楊文慧;毋芳芳;石光明;謝雪梅;吳金建
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06N3/06
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 王品華

1.一種基于特征冗余分析的神經網絡跨層剪枝方法，其特征在于，包括如下：

(1)獲取訓練樣本集：

選用CIFAR10數據集中的60000幅32×32的彩色圖像作為輸出樣本集，共分為10個類，從每一類中隨機選取5000幅圖，共50000幅圖構成輸入訓練樣本集；

(2)構建44層卷積神經網絡：

(2a)基于現有的基本擴張殘差單元結構，加入降采樣層后置策略，將深度卷積層卷積步長為2的擴張殘差單元放置在具有相同參數設置的擴張殘差單元的后部，得到一個44層卷積神經網絡；

(2b)并設置各層參數；

(3)更新44層卷積神經網絡參數：

(3a)按照如下損失計算公式，計算44層卷積神經網絡的損失值：

其中，L表示44層卷積神經網絡的損失值，x表示輸入訓練樣本集，n表示樣本的總數，a表示樣本x產生的預測值；y表示樣本x的真實標簽，取值為{0,1}；γ表示44層卷積神經網絡中逐點卷積層歸一化后的權重，λ表示正則項的權重，||·||₁表示L1范數操作；

(3b)設初始訓練的最大更新次數T₁＝100，用損失值L更新44層卷積神經網絡的每一層參數；

(4)判斷初始訓練的更新次數是否達到100次，若是，則得到訓練好的44層卷積神經網絡及各層參數，執(zhí)行步驟(5)，否則，返回步驟(3)；

(5)對訓練好的44層卷積神經網絡進行跨層剪枝：

(5a)取出訓練好的44層卷積神經網絡中每一個逐點卷積層歸一化后的權重，構成權重向量γ，將所有權重向量γ合成一個向量，并將該向量的值按照升序排列，得到排序后的權重向量W；

(5b)按照下式得到全局剪枝閾值在排序后的權重向量W中對應的索引I_t：

I_t＝N×P

其中，N表示權重向量W的個數，P表示當前設定的剪枝率；

(5c)從排序后的權重向量W中取出索引I_t對應的權重值，作為全局剪枝閾值T；

(5d)對訓練好的44層卷積神經網絡中每一個逐點卷積層設置一個與該層權重向量γ維度相同的模板向量M，將每層的權重向量γ中的值與全局剪枝閾值T進行比較：若權重向量γ中的值大于等于全局剪枝閾值T，則將模板向量M中對應位置的值設為1，反之，設為0；

(5e)統計每一個模板向量M中值為1的個數，得到每一個逐點卷積層需要保留的特征通道的數目C，根據所有特征通道的數目C構成的集合構建一個初始的稀疏網絡；

(5f)根據每一個模板向量M中值為1的位置，得到每一個逐點卷積層中需要保留的特征通道的索引，構成特征索引向量I_f；將訓練好的44層卷積神經網絡中每一個逐點卷積層的特征索引向量I_f對應的每一個特征通道的權重值，依次復制到構建好的初始稀疏網絡中對應的位置，得到剪枝后的稀疏網絡；

(6)對剪枝后的稀疏網絡進行微調訓練，更新剪枝后的稀疏網絡參數：

(6a)按照如下損失計算公式，計算剪枝后的稀疏網絡的損失值：

其中，L_s表示剪枝后的稀疏網絡的損失值，x表示輸入訓練樣本集，n表示樣本的總數，a表示樣本x產生的預測值；y表示樣本x的真實標簽，取值為{0,1}；

(6b)設微調訓練的最大更新次數T₂＝40，用損失值L_s更新剪枝后的稀疏網絡的每一層參數；

(7)判斷微調訓練的更新次數是否達到40次，若是，則得到微調后的稀疏網絡及各層參數，否則，返回步驟(6)。

2.根據權利要求1所述的方法，步驟(2a)中的44層卷積神經網絡，依次為一個輸入層、一個第一常規(guī)卷積層、十三個擴張殘差單元、一個第二常規(guī)卷積層、一個全局平均池化層和一個Softmax分類層，其中，每一個擴張殘差單元均包括兩個逐點卷積層和一個深度卷積層。