[發明專利]一種基于概率的神經網絡剪枝方法

有效

• 申請號: 201810691867.4
• 申請日: 2018-06-28
• 公開（公告）號: CN109034372B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 王歡;胡浩基;王曰海
• 申請（專利權）人: 浙江大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種基于概率的神經網絡剪枝方法，其特征在于，具體包括以下步驟：

(1)準備工作

對于待剪枝的神經網絡模型，準備訓練它的數據集、網絡結構配置文件、訓練過程配置文件，所使用的數據集、網絡結構配置、訓練過程配置均與原訓練方法保持一致；

在做神經網絡模型為ResNet-50的神經網絡概率剪枝實驗中，所使用的數據集為ImageNet-2012，所使用的網絡結構配置文件均為ResNet-50原模型所使用的文件；

(2)概率剪枝

(2.1)為該神經網絡的每一層l設置目標剪枝率為R_l∈[0，1)，每隔t次迭代，更新一次參與概率p；

(2.2)對神經網絡每一層的參數進行分群組，設第l層的群組的個數是N_l，同一個群組中的參數共享同一個參與概率p；

(2.3)將所有參與概率p初始化為1，開始訓練；

(2.4)當訓練的步數是t的整數倍時，減少一次參與概率p，設減少值為Δ；

(2.5)更新參與概率p：p＝max(min(p-Δ，1)，0)；

(2.6)繼續訓練，當訓練步數是t的整數倍時，回到步驟(2.4)；

(2.7)當所有層均達到設定的目標剪枝率R_l時，步驟(2.4)-(2.6)的循環結束，概率剪枝終止；

(3)對剪枝完成的模型進行再訓練，并對模型的準確率進行監測，當再訓練的模型準確率不再上升時，得到剪枝后的神經網絡模型。

2.根據權利要求1所述的基于概率的神經網絡剪枝方法，其特征在于，所述剪枝的方式具體為：

對于每個參數w，為其分配一個mask屬于{0,1}，當mask＝0時，表示該參數在當前輪迭代中不發揮作用，當mask＝1時，表示發揮作用，根據該參數所在群組的參與概率p為該參數分配一個mask，剪掉mask為0的參數。

3.根據權利要求1所述的基于概率的神經網絡剪枝方法，其特征在于，所述Δ的確定方法如下：

a、選擇一種衡量不同群組在剪枝中相對重要性的標準C，以此標準給每個群組g分配一個重要性值C(g)，每個群組g的重要性與其重要性值C(g)正相關；

b、對于每個群組，根據它的重要性值按照懲罰函數f(r)決定它們的Δ＝f(C(g))；

該懲罰函數需滿足一下要求：

1)該函數為單調非增函數；

2)當C(g)＜C(g_th)時，f(C(g))＞0；當C(g)≥C(g_th)時，f(C(g))＜0，其中g_th表示對C(g)進行升序排序，位于第th名的群組，其中表示向上取整函數,N_l表示第l層的群組個數。