[發明專利]一種神經網絡壓縮方法、裝置、電子設備和存儲介質

在審

• 申請號: 202011533198.1
• 申請日: 2020-12-22
• 公開（公告）號: CN112488306A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 王昭;王子瑋;張峰
• 申請（專利權）人: 中國電子科技集團公司信息科學研究院
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

1.一種神經網絡壓縮方法，其特征在于，所述方法包括：

步驟a：獲取待壓縮的神經網絡；

步驟b：分別獲取所述神經網絡中多個結構化參數的重要度；

步驟c：根據預設的第一裁剪比例或預設的第一裁剪數量裁剪掉所述神經網絡中重要度低的結構化參數；

步驟d：對裁剪后的所述神經網絡進行訓練，以更新裁剪后的所述神經網絡的結構化參數；

步驟e：重復執行步驟b至d，直至所述待壓縮的神經網絡中被裁剪掉的所述結構化參數的數量符合預設的目標裁剪數量或所述待壓縮的神經網絡中被裁剪后剩余的所述結構化參數的數量符合預設的模型參數數量。

2.根據權利要求1所述的壓縮方法，其特征在于，所述預設的第一裁剪比例小于等于50％，或所述預設的第一裁剪數量小于等于所述待壓縮的神經網絡中結構化參數總數的50％。

3.根據權利要求1所述的壓縮方法，其特征在于，在所述分別獲取所述神經網絡中多個結構化參數的重要度后，還包括：

對所述多個結構化參數的重要度進行排序；

所述根據預設的第一裁剪比例或預設的第一裁剪數量裁剪掉所述神經網絡中重要度低的結構化參數，包括：

若所述多個結構化參數的重要度由高至低排序，則根據預設的第一裁剪比例或預設的第一裁剪數量裁剪掉所述神經網絡中重要度排序靠后的結構化參數；

若所述多個結構化參數的重要度由低至高排序，則根據預設的第一裁剪比例或預設的第一裁剪數量裁剪掉所述神經網絡中重要度排序靠前的結構化參數。

4.根據權利要求1所述的壓縮方法，其特征在于，所述分別獲取所述神經網絡中多個結構化參數的重要度，包括：

根據所述神經網絡中每個結構化參數的L2范數和/或幾何中值，得到所述每個結構化參數的重要度。

5.根據權利要求1所述的壓縮方法，其特征在于，所述根據預設的第一裁剪比例或預設的第一裁剪數量裁剪掉所述神經網絡中重要度低的結構化參數，包括：

根據所述預設的第一裁剪比例和所述待壓縮的神經網絡中結構化參數的總數，得到第二裁剪數量，使用硬剪枝的裁剪方法裁剪掉所述神經網絡中第二裁剪數量的結構化參數；或，

使用硬剪枝的裁剪方法裁剪掉所述神經網絡中所述第一裁剪數量的結構化參數。

6.根據權利要求1至5中任意一項所述的壓縮方法，其特征在于，在所述重復執行步驟b至d，直至所述待壓縮的神經網絡中被裁剪掉的所述結構化參數的數量符合預設的目標裁剪數量或所述待壓縮的神經網絡中被裁剪后剩余的所述結構化參數的數量符合預設的模型參數數量前，還包括：

記錄執行裁剪的次數；

將所述執行裁剪的次數與預設的目標裁剪次數進行比較，若所述執行裁剪的次數大于所述目標裁剪次數，則使用預設的第二裁剪比例替換步驟b中的所述第一裁剪比例或使用預設的第三裁剪數量替換步驟b中的所述第一裁剪數量，所述第二裁剪比例大于所述第一裁剪比例，所述第三裁剪數量大于所述第一裁剪數量。

7.根據權利要求1至5中任意一項所述的壓縮方法，其特征在于，所述結構化參數包括濾波器和通道。

8.一種神經網絡壓縮裝置，其特征在于，所述裝置包括：

神經網絡獲取模塊，用于獲取待壓縮的神經網絡；

重要度獲取模塊，用于分別獲取所述神經網絡中多個結構化參數的重要度；

裁剪模塊，用于根據預設的第一裁剪比例或預設的第一裁剪數量裁剪掉所述神經網絡中重要度低的結構化參數；

更新模塊，用于對裁剪后的所述神經網絡進行訓練，以更新裁剪后的所述神經網絡的結構化參數。

9.一種電子設備，其特征在于，包括：

一個或多個處理器；

存儲單元，用于存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執行時，能使得所述一個或多個處理器實現根據權利要求1至7中任意一項所述的壓縮方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，

所述計算機程序被處理器執行時能實現根據權利要求1至7中任意一項所述的壓縮方法。