[發明專利]一種卷積神經網絡的剪枝方法、裝置、設備和介質

有效

• 申請號: 202110428305.2
• 申請日: 2021-04-21
• 公開（公告）號: CN113011588B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 張維緯;周密;余浩然
• 申請（專利權）人: 華僑大學
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/0464
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

1.一種卷積神經網絡的剪枝方法，其特征在于：包括下述步驟：

S1、獲取圖像的數據集，并將數據集按比例分為訓練集與驗證集；

S2、將待剪枝的卷積神經網絡模型進行初始化后，對訓練集中的圖像進行多輪預訓練，從而獲得各網絡層的權重和，并根據權重和確定網絡的敏感層；

S3、通過強化學習進行多輪自動化剪枝操作，并通過驗證集驗證得到每輪剪枝操作的模型精確度，從而獲得模型精度最高的模型剪枝策略；其間，根據強化學習的確定性策略，對網絡的敏感層和非敏感層實行不同的壓縮策略，所述敏感層的壓縮率低于非敏感層的壓縮率，來對各網絡層的濾波器數量進行剪枝；所述步驟S3具體是：

S31、根據待剪枝的卷積神經網絡模型的濾波器總數和目標剪枝率確定濾波器待剪總量M，進入多輪自動化剪枝操作；

S32、獲取當前模型中的當前網絡層并判斷是否為敏感層，若否，按照強化學習給出的動作進行壓縮；若是，則根據強化學習的確定性策略，將強化學習的確定性輸出的當前層壓縮率設置為當前確定性輸出的0.1倍，獲取當前模型的當前網絡層i應當執行剪枝操作的濾波器數量N_i，同時計算獲得剩余濾波器待剪量M^’，M^’＝M-∑N_i；

S33、通過計算濾波器的L2范數計算濾波器的重要性程度，并將重要性程度低的N_i個濾波器的權重設置為0，從而完成當前模型中的當前網絡層的N_i數量的濾波器剪枝；

S34、重復上述步驟S32和步驟S33，直到完成當前模型中的所有網絡層的自動化剪枝操作，則當前輪自動化剪枝操作結束；

S35、發起新的一輪自動化剪枝操作，回到步驟S32，直到完成所有輪次的自動化剪枝操作；

其中，在每輪自動化剪枝操作結束后，通過驗證集驗證得到當前模型剪枝操作的模型精確度，并將當前模型剪枝策略與模型精確度對應保存到強化學習經驗回放池中，在完成所有輪次的自動化剪枝操作后，通過比較即能獲取精確度最高的剪枝策略；

所述強化學習采用的是DDPG深度確定性策略強化學習法，該DDPG深度確定性策略強化學習法中的演員網絡與評論家網絡的訓練根據完整一輪自動化剪枝所獲得模型精確度與每一輪自動化剪枝中的剪枝狀態作為輸入來執行訓練操作；

其中，在狀態空間中，對于每一網絡層t，通過公式(1)所示的10個屬性來表示環境S_t的屬性特征：

(t，n，c，h，w，stride，k，FLOPs[t]，Re_all，R_est，a_t-1)??公式(1)；

式(1)中，t表示卷積神經網絡模型層的索引，卷積核的尺寸為n×c×k×k，輸入值為c×h×w，Stride表示卷積操作中的步長，FLOPs[t]表示第Lt層的浮點計算次數，Re_all表示前面所有已剪枝的網絡減少的FLOPs的總數，R_est表示余下各層中剩余的FLOPs總數；代理從濾波器剪枝的環境中獲得屬性特征所處的第t層的環境S_t，獲得當前特征向量，然后輸出環境S_t狀態下的動作作為當前網絡層的壓縮率a_t-1，指導當前網絡層進行可替代濾波器剪枝；

在下一輪剪枝時，通過在DDPG經驗回放池中采集m個樣本利用下述公式(2)計算當前目標Q值y_j：

式(2)中，所示的π_θ′(φ(S′_j))是通過演員目標網絡獲得，而Q′(φ(S′_j)，π_θ′(φ(S′_j))，w′)則是通過評論家目標網絡獲得；其中γ的值設置為1以避免短期獎勵的優先級過高；在代理更新期間通過減去基線獎勵b來減少梯度估計的方差，is_end_j則表示對當前是否處于模型最后一層的判斷；R_j表示的是強化學習函數當前所獲得的獎勵，其中梯度估計的值為此前獎勵的指數移動平均值；

對于強化學習中的當前目標Q值y_j，通過在DDPG經驗回放池中采集m個樣本{φ(S_j)，A_j，R_j，φ(S′_j)，is_end_j}，其中j＝1，2，3…m，DDPG的損失函數為下述公式(3)所示的均方誤差函數：

式(3)中，φ(S_j)為當前狀態S_j下獲得的特征向量；其選擇出來的動作A會增加一定的噪聲，并且噪聲會在每輪剪枝完以后呈指數衰減，公式中A_j表示為當前強化學習輸出的動作，w則表示評論家當前網絡的參數，Q(φ(S_j)，A_j，ω)由評論家當前網絡獲得；最終和環境交互的動作A如公式(3)和公式(4)所示，其中公式(4)中，S表示強化學習所獲得的當前狀態，e表示演員當前網絡的參數，N表示是對所獲得的動作添加的一定的噪聲：

A＝π_θ(S)+N????????????????公式(4)；

強化學習中的獎勵函數如公式(5)所示，其中log(FLOPs)以e為底與Error成反比，其中Error表示模型錯誤率的百分比：

R_FLOPs＝-Error·log(FLOPs)??????????????公式(5)；

所述步驟S33中的濾波器L2范數的計算采用下述公式(6)進行：

式(6)中，F_i，j表示的是第i層第j個濾波器，K表示濾波器的尺寸，N表示濾波器的個數，k₁，k₂表示濾波器參數矩陣的兩個維度；

S4、對完成多輪自動化剪枝操作后的卷積神經網絡模型執行微調操作，得到最終的卷積神經網絡模型。