[發明專利]神經網絡剪枝方法及裝置、可讀介質和電子設備

在審

• 申請號: 202210158744.0
• 申請日: 2022-02-21
• 公開（公告）號: CN114358257A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 馮天鵬;郭彥東
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

1.一種神經網絡剪枝方法，其特征在于，包括：

獲取待剪枝的初始卷積神經網絡對應的剪枝搜索空間，所述剪枝搜索空間包括所述初始卷積神經網絡中各卷積層對應的可選剪枝率；

通過預訓練的搜索網絡在所述可選剪枝率中搜索確定用于所述初始卷積神經網絡的目標剪枝率組合；

根據所述目標剪枝率組合對所述初始卷積神經網絡進行剪枝處理，得到目標卷積神經網絡。

2.根據權利要求1所述的方法，其特征在于，所述剪枝搜索空間包括動作空間和狀態空間，所述通過預訓練的搜索網絡在所述可選剪枝率中搜索確定用于所述初始卷積神經網絡的目標剪枝率組合，包括：

通過所述搜索網絡在所述動作空間進行迭代搜索，并確定動作選擇后的狀態空間，所述狀態空間包括剪枝率組合；

基于所述搜索網絡輸出所述狀態空間下所述初始卷積神經網絡對應的搜索路徑評分；

將所述搜索路徑評分最大的剪枝率組合作為目標剪枝率組合。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

若所述目標卷積神經網絡的計算量小于或者等于計算量閾值，則確定完成對所述初始卷積神經網絡的搜索式結構化剪枝。

4.根據權利要求1所述的方法，其特征在于，在通過預訓練的搜索網絡在所述可選剪枝率中搜索確定用于所述初始卷積神經網絡的目標剪枝率組合之前，所述方法還包括：

通過預訓練過程生成搜索網絡；所述預訓練過程包括：

構建初始搜索網絡，并通過所述初始搜索網絡采樣樣本卷積神經網絡對應的狀態-動作空間；

訓練所述狀態-動作空間下的所述樣本卷積神經網絡至損失收斂，并存儲所述樣本卷積神經網絡對應的計算量以及驗證集準確率；

將所述狀態-動作空間、所述計算量以及所述驗證集準確率作為字典存儲至回放存儲空間；

通過所述初始搜索網絡在所述回訪存儲空間中均勻采樣所述字典，以根據所述字典對所述初始搜索網絡進行強化學習訓練，更新所述初始搜索網絡的網絡參數，得到訓練完成的搜索網絡。

5.根據權利要求4所述的方法，其特征在于，所述強化學習訓練采用Q-learning算法，所述Q-learning算法的即時獎勵由所述驗證集準確率確定。

6.根據權利要求4所述的方法，其特征在于，所述通過所述初始搜索網絡采樣樣本卷積神經網絡對應的狀態-動作空間，包括：

通過所述初始搜索網絡從所述樣本卷積神經網絡的第一卷積層開始迭代，并根據所述第一卷積層的第一狀態生成一個隨機數；

如果所述隨機數大于預設值，則將所述第一狀態下所有動作分別輸入至所述初始搜索網絡，得到搜索路徑評分數組；

確定所述搜索路徑評分數組中數值最大的元素對應的第一動作，并通過預設的轉移函數得到第二狀態，并將所述第一動作和所述第二狀態作為字典進行存儲；

循環以上步驟，直到所述初始搜索網絡迭代搜索所述樣本卷積神經網絡的所有卷積層。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

如果所述隨機數小于或者等于所述預設值，則從所述第一狀態下的動作空間中隨機選擇第二動作，并根據所述第二動作確定第三狀態；

將所述第二動作和所述第三狀態作為字典進行存儲。

8.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取目標計算設備的計算性能數據，并根據所述計算性能數據確定計算量閾值；

獲取待下發的初始深度學習模型，所述初始深度學習模型包括初始卷積神經網絡；

基于所述計算量閾值以及權利要求1-7任一項所述神經網絡剪枝方法對所述初始深度學習模型進行剪枝處理，得到計算量小于所述計算量閾值的目標深度學習模型，所述目標深度學習模型包括目標卷積神經網絡；

將所述目標深度學習模型下發到所述目標計算設備。