[發明專利]用于對神經網絡中卷積層進行剪枝的方法和裝置

在審

• 申請號: 202010171150.4
• 申請日: 2020-03-12
• 公開（公告）號: CN113392953A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 聶遠飛;董禎;馮歡
• 申請（專利權）人: 瀾起科技股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市君合律師事務所 11517
• 代理人: 毛健;杜小鋒

本申請公開了一種用于對神經網絡中卷積層進行剪枝的方法和裝置。其中用于對神經網絡中卷積層進行剪枝的方法包括：獲取目標神經網絡，目標神經網絡包括待剪枝卷積層，待剪枝卷積層包括C個濾波器，每個濾波器中包括K個卷積核，每個卷積核包括M行N列個權重值，其中C、K、M和N為大于等于1的正整數；基于卷積核中權重值的數量M×N和目標壓縮率確定每個卷積核中待剪枝的權重值的數量P，其中P為小于M×N的正整數；以及將待剪枝卷積層的每個卷積核中絕對值最小的P個權重值置零，形成剪枝后卷積層。

技術領域

本申請涉及神經網絡技術，更具體地，涉及一種用于對神經網絡中卷積層進行剪枝(pruning)的方法和裝置。

背景技術

近年來，深度學習技術已經應用于許多技術領域，例如，圖像識別、語音識別、自動駕駛和醫學成像等等。卷積神經網絡(CNN：Convolutional Neural Network)是深度學習技術中具有代表性的一種網絡結構和算法，在圖像處理技術中取得了很大的成功。然而，現有的卷積神經網絡模型的參數較多，對存儲空間和計算量的消耗較大，限制了其應用范圍。

發明內容

本申請的一個目的在于提供一種用于對神經網絡中卷積層進行剪枝的方法，以提高剪枝效率和準確度。

根據本申請的一些方面，提供了一種用于對神經網絡中卷積層進行剪枝的方法。該方法包括：獲取目標神經網絡，所述目標神經網絡包括待剪枝卷積層，所述待剪枝卷積層包括C個濾波器，每個濾波器中包括K個卷積核，每個卷積核包括M行N列個權重值，其中C、K、M和N為大于等于1的正整數；基于所述卷積核中權重值的數量M×N和目標壓縮率確定每個卷積核中待剪枝的權重值的數量P，其中P為小于M×N的正整數；以及將所述待剪枝卷積層的每個卷積核中絕對值最小的P個權重值置零，形成剪枝后卷積層。

在一些實施例中，所述方法還包括：將包括所述剪枝后卷積層的目標神經網絡進行再訓練以形成更新的神經網絡，所述更新的神經網絡包括對所述剪枝后卷積層進行再訓練產生的更新的卷積層，所述更新的卷積層中與所述剪枝后卷積層中權重值被置零位置對應位置的權重值為零。

在一些實施例中，將包括所述剪枝后卷積層的目標神經網絡進行再訓練以產生更新的神經網絡包括：生成屏蔽張量，所述屏蔽張量中各元素與所述剪枝后卷積層中各權重值對應，并且所述屏蔽張量中與所述剪枝后卷積層中權重值被置零位置對應的位置的元素為0，其余位置的元素為1；以及使用所述屏蔽張量將誤差梯度張量中與所述剪枝后的卷積層中權重值被置零位置對應位置的梯度值置零，使得所述更新的卷積層中與所述剪枝后的卷積層中權重值被置零位置對應位置的權重值為零。

在一些實施例中，使用所述屏蔽張量將誤差梯度張量中與所述剪枝后的卷積層中權重值被置零位置對應位置的梯度值置零包括：將所述屏蔽張量與所述誤差梯度張量進行阿達馬乘法運算。

在一些實施例中，所述目標壓縮率基于目標準確度設置，所述目標壓縮率使得所述更新的神經網絡進行神經網絡運算的準確度大于等于所述目標準確度。

在一些實施例中，所述方法還包括：獲取所述更新的神經網絡進行神經網絡運算的更新的準確度；比較所述更新的準確度與所述目標準確度；以及若所述更新的準確度小于所述目標準確度，則增加所述目標壓縮率并基于增加的目標壓縮率重新確定所述待剪枝的權重值的數量P。

在一些實施例中，將每個卷積核中絕對值最小的P個權重值置零包括：將所述待剪枝卷積層根據權重值的數量展開為C×K行、M×N列的二維矩陣；將所述二維矩陣中每一行的M×N個權重值根據其絕對值大小進行排序；將每一行M×N個權重值中絕對值最小的P個權重值置零；以及將所述二維矩陣重新排列得到與所述待剪枝卷積層對應的C個濾波器，每個濾波器中包括K個卷積核，每個卷積核包括M行N列個權重值，從而形成剪枝后卷積層。

在一些實施例中，所述待剪枝卷積層或所述更新的卷積層用于與輸入層的K個輸入通道進行卷積操作后生成運算結果以由輸出層的C個輸出通道輸出。