[發明專利]神經網絡的動態裁剪方法、裝置及存儲介質

有效

• 申請號: 201710656730.0
• 申請日: 2017-08-03
• 公開（公告）號: CN109389216B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 南楠;李曉會;葉麗萍
• 申請（專利權）人: 珠海全志科技股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 工業和信息化部電子專利中心 11010
• 代理人: 齊潔茹

1.一種神經網絡的動態裁剪方法，其特征在于，包括：

設定裁剪率目標、裁剪范圍、裁剪對象及裁剪階段個數，所述裁剪范圍為對神經網絡中的特定層進行裁剪，既可以單獨對整個網絡中的某些層裁剪，也可以對網絡中的特定層的特定濾波器進行裁剪，還可以對整個網絡中所有基于內積運算的網絡層進行裁剪；

根據所述裁剪率目標和裁剪階段個數，確定每個裁剪階段的裁剪率目標；

根據神經網絡原始模型的網絡訓練參數和所述裁剪階段個數，確定每個裁剪階段的網絡訓練參數，包括：

根據神經網絡原始模型的訓練迭代次數以及所述裁剪階段數量，確定每個裁剪階段的訓練迭代次數；

根據神經網絡原始模型的訓練迭代次數、訓練參數以及每個裁剪階段前裁剪累計訓練迭代次數，確定每個裁剪階段的初始化訓練參數；

基于每個裁剪階段的網絡訓練參數，按裁剪階段進行網絡訓練，并在每個裁剪階段中，根據對應裁剪階段的裁剪率目標，對所述裁剪范圍內的所述裁剪對象進行裁剪。

2.如權利要求1所述的方法，其特征在于，所述裁剪對象包括如下對象之一：權重的連接、濾波器和卷積核。

3.如權利要求1所述的方法，其特征在于，確定的每個裁剪階段的訓練迭代次數為M_i，所述M_i＝α×M/N；其中，M為原始訓練迭代次數，N為裁剪階段的個數，α為設置的迭代次數影響因子，1≤i≤N。

4.如權利要求1所述的方法，其特征在于，所述根據神經網絡原始模型的訓練迭代次數、訓練參數以及每個裁剪階段前裁剪累計訓練迭代次數，確定每個裁剪階段的初始化訓練參數，包括：

根據神經網絡的原始訓練迭代次數和訓練參數，估算出原始訓練過程中任意迭代周期的訓練參數；

確定當前裁剪階段前的裁剪累計訓練迭代次數所匹配的所述迭代周期，根據匹配的所述迭代周期對應的訓練參數，估算出當前裁剪階段更新點對應的初始化訓練參數。

5.如權利要求1所述的方法，其特征在于，所述對所述裁剪范圍內的所述裁剪對象進行裁剪，具體包括：

在每個所述裁剪階段中，在每次迭代訓練前，基于概率函數和當前網絡訓練狀態，確定裁剪操作的概率；其中，所述概率函數為隨著迭代次數的增加而逐漸下降的函數；

當所述裁剪操作的概率大于指定閾值時，對所述裁剪范圍內的所述裁剪對象進行裁剪。

6.如權利要求5所述的方法，其特征在于，所述指定閾值包括：隨機數產生器產生的數與隨機數產生器所產生的數的上限的比值。

7.如權利要求5所述的方法，其特征在于，所述基于概率函數和當前網絡訓練狀態，確定裁剪操作的概率，包括：

通過所述概率函數，生成一個基準的裁剪動作激發概率；

根據當前網絡的訓練狀態，確定裁剪概率影響因子，所述裁剪概率影響因子小于等于1；

將所述激發概率與所述裁剪概率影響因子相乘，得到所述裁剪操作的概率。

8.如權利要求7所述的方法，其特征在于，所述根據當前網絡的訓練狀態，確定裁剪概率影響因子，包括：

通過停滯檢測判斷網絡是否處于訓練停滯狀態，若是，則將所述裁剪概率影響因子設置為小于第一閾值的值；否則，將所述裁剪概率影響因子設置為大于第二閾值的值；其中，第二閾值大于等于第一閾值。

9.如權利要求1或5所述的方法，其特征在于，所述對所述裁剪范圍內的所述裁剪對象進行裁剪，具體包括：

確定所述裁剪范圍內的所述裁剪對象的重要性；

根據當前階段的裁剪率目標，設定所述裁剪對象的裁剪閾值；

將所述裁剪對象的重要性與所述裁剪閾值進行比較，并根據比較結果，更新所述裁剪對象的連接狀態。