[發明專利]一種神經網絡壓縮方法、裝置、電子設備和存儲介質

在審

• 申請號: 202011533198.1
• 申請日: 2020-12-22
• 公開（公告）號: CN112488306A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 王昭;王子瑋;張峰
• 申請（專利權）人: 中國電子科技集團公司信息科學研究院
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

本公開提供一種神經網絡壓縮方法、裝置、電子設備和存儲介質，方法包括：a：獲取待壓縮的神經網絡；b：分別獲取神經網絡中多個結構化參數的重要度；c：根據第一裁剪比例或第一裁剪數量裁剪掉神經網絡中重要度低的結構化參數；d：對裁剪后的神經網絡進行訓練，以更新裁剪后的神經網絡的結構化參數；e：重復執行步驟b至d，直至待壓縮的神經網絡中被裁剪掉的結構化參數的數量符合目標裁剪數量或被裁剪后剩余的結構化參數的數量符合模型參數數量。本公開實施例的一種神經網絡壓縮方法、裝置、設備和介質中，可在有效減小模型尺寸、降低模型推理內存占用、加快速度的基礎上，有效保證剪枝后的神經網絡模型的性能，同時具有較好的剪枝可操控性。

技術領域

本公開屬于信息處理技術領域，具體涉及一種神經網絡壓縮方法、裝置、電子設備和存儲介質。

背景技術

神經網絡已經成為人工智能的核心技術，然而隨著深度學習技術的不斷發展，網絡結構越復雜，模型參數越來越多，導致模型運行時需要的存儲、計算資源大量增加。以經典的ResNet-152模型為例，它有6020萬參數、超過230MB的儲存需求和計算每一張圖片所需要的浮點數乘法時間。對于資源受限的手機、FPGA等智能硬件設備，對神經網絡模型進行壓縮與推理加速顯得尤為重要。

神經網絡剪枝是一種常用的神經網絡模型壓縮方法，但現有的神經網絡剪枝方法很難在高壓縮比和模型性能上取得平衡。現有的權重剪枝方法可以減少存儲的權重的數量，進而減少所需要的存儲空間，但不利于加快推理速度和減少網絡模型的內存占用；濾波器硬剪枝由于一次性裁剪了卷積過程中多個濾波器，很難保證模型性能；濾波器軟剪枝方法在濾波器剪枝后的重訓練過程中允許對被剪枝濾波器進行更新，但并沒有充分利用重訓練之前的剪枝信息。

發明內容

本公開旨在至少解決現有技術中存在的技術問題之一，提供一種神經網絡壓縮方法、裝置、電子設備和存儲介質。

本公開的一個方面提供一種神經網絡壓縮方法，所述方法包括：

步驟a：獲取待壓縮的神經網絡；

步驟b：分別獲取所述神經網絡中多個結構化參數的重要度；

步驟c：根據預設的第一裁剪比例或預設的第一裁剪數量裁剪掉所述神經網絡中重要度低的結構化參數；

步驟d：對裁剪后的所述神經網絡進行訓練，以更新裁剪后的所述神經網絡的結構化參數；

步驟e：重復執行步驟b至d，直至所述待壓縮的神經網絡中被裁剪掉的所述結構化參數的數量符合預設的目標裁剪數量或所述待壓縮的神經網絡中被裁剪后剩余的所述結構化參數的數量符合預設的模型參數數量。

可選的，所述預設的第一裁剪比例小于等于50％，或所述預設的第一裁剪數量小于等于所述待壓縮的神經網絡中結構化參數總數的50％。

可選的，在所述分別獲取所述神經網絡中多個結構化參數的重要度后，還包括：

對所述多個結構化參數的重要度進行排序；

所述根據預設的第一裁剪比例或預設的第一裁剪數量裁剪掉所述神經網絡中重要度低的結構化參數，包括：

若所述多個結構化參數的重要度由高至低排序，則根據預設的第一裁剪比例或預設的第一裁剪數量裁剪掉所述神經網絡中重要度排序靠后的結構化參數；

若所述多個結構化參數的重要度由低至高排序，則根據預設的第一裁剪比例或預設的第一裁剪數量裁剪掉所述神經網絡中重要度排序靠前的結構化參數。

可選的，所述分別獲取所述神經網絡中多個結構化參數的重要度，包括：

根據所述神經網絡中每個結構化參數的L2范數和/或幾何中值，得到所述每個結構化參數的重要度。