[發(fā)明專利]一種基于特征圖的神經(jīng)網(wǎng)絡剪枝方法

在審

• 申請?zhí)枺?/td>: 202110906887.0
• 申請日: 2021-08-09
• 公開（公告）號: CN113537245A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設計）人: 謝磊;徐曉舟;蘇宏業(yè)
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產(chǎn)權代理有限公司 33224
• 代理人: 彭劍

1.一種基于特征圖的神經(jīng)網(wǎng)絡剪枝方法，其特征在于，包括以下步驟：

(1)對于待剪枝的神經(jīng)網(wǎng)絡模型，準備圖像的訓練數(shù)據(jù)集進行訓練，得到預訓練好的模型權重；

(2)定義拓撲洞為衡量特征圖信息量的標量，根據(jù)拓撲洞的計數(shù)標準，對預訓練好的卷積神經(jīng)網(wǎng)絡輸入數(shù)據(jù)I，計算每一層L_i不同通道對應的拓撲洞值

(3)為該神經(jīng)網(wǎng)絡的每一層L_i設置剪枝率P_i∈[0,1)，并根據(jù)每一層的原始輸出通道數(shù)N_i+1，確定剪枝后的模型每一層輸出通道數(shù)為N_i+1×(1-P_i)；

(4)憑借拓撲洞值及剪枝率P_i對神經(jīng)網(wǎng)絡剪枝得到剪枝后的網(wǎng)絡；

(5)剪枝后的神經(jīng)網(wǎng)絡在相同訓練數(shù)據(jù)集下進行重訓練，以恢復損失精度；

(6)利用剪枝后神經(jīng)網(wǎng)絡進行應用，將待識別的圖像輸入剪枝后的神經(jīng)網(wǎng)絡，得到圖像中不同物體的類別。

2.根據(jù)權利要求1所述的基于特征圖的神經(jīng)網(wǎng)絡剪枝方法，其特征在于，步驟(1)中，所述的神經(jīng)網(wǎng)絡模型為ResNet-50模型。

3.根據(jù)權利要求1所述的基于特征圖的神經(jīng)網(wǎng)絡剪枝方法，其特征在于，所述的訓練數(shù)據(jù)集為ImageNet-2012。

4.根據(jù)權利要求1所述的基于特征圖的神經(jīng)網(wǎng)絡剪枝方法，其特征在于，步驟(2)中，所述拓撲洞的計數(shù)標準為：在每一層L_i輸出的尺寸為h_i×w_i的特征圖中，單元格權重為0的計為1個拓撲洞；如果有許多權重為0的單元格相連，則它們合起來計為1個拓撲洞且不再單獨計數(shù)；如果所有權值權重均為0的連通單元位于特征圖映射矩陣的最外層，則不考慮連通單元的拓撲洞計數(shù)。

5.根據(jù)權利要求4所述的基于特征圖的神經(jīng)網(wǎng)絡剪枝方法，其特征在于，步驟(2)中，批量數(shù)據(jù)輸入后平均拓撲洞計數(shù)公式為：

其中，TopologyHole(·)為單張?zhí)卣鲌D拓撲洞計數(shù)標準，I為輸入數(shù)據(jù)，batch為同時進行運算的數(shù)據(jù)量，為第i層第j的過濾器對應特征圖在輸入數(shù)據(jù)I下的平均拓撲洞。

6.根據(jù)權利要求1所述的基于特征圖的神經(jīng)網(wǎng)絡剪枝方法，其特征在于，步驟(4)的具體過程為：對神經(jīng)網(wǎng)絡模型逐層根據(jù)拓撲洞值從大到小排序，根據(jù)預先設置的剪枝率P_i逐層移除拓撲洞值最高的N_i+1×P_i個過濾器，得到剪枝后的模型。