[發明專利]一種基于高秩卷積圖的核剪枝方法、裝置、設備及介質

在審

• 申請號: 202110764521.4
• 申請日: 2021-07-06
• 公開（公告）號: CN113592085A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 魏聰;王致遠;鐘沖;葉宏;谷雨;張顏
• 申請（專利權）人: 廈門路橋信息股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06K9/62
• 代理公司: 廈門創象知識產權代理有限公司 35232
• 代理人: 廖吉保

1.一種基于高秩卷積圖的核剪枝方法，其特征在于，方法包括如下步驟：

將訓練圖片輸入到待剪枝的深度神經網絡模型中，計算待剪枝的深度神經網絡模型中每一個卷積核所產生的特征圖的平均秩；

根據卷積核所產生的特征圖的平均秩，將待剪枝的深度神經網絡模型中的各個卷積核按照由小到大的順序進行排序；

給定卷積核的剪枝目標，根據剪枝目標對待剪枝的深度神經網絡模型的卷積核進行剪枝；

利用剪枝后保留在深度神經網絡模型中的卷積核繼續訓練深度神經網絡模型。

2.根據權利要求1所述的一種基于高秩卷積圖的核剪枝方法，其特征在于，所述的計算待剪枝的深度神經網絡模型中每一個卷積核所產生的特征圖的平均秩具體包括：

從待剪枝的深度神經網絡模型中找出不重要的卷積核，具體通過如下公式(1)表示：

在式(1)中，δ_i表示第i個卷積核W_i對深度神經網絡模型的重要性，且δ_i＝0表示卷積核W_i對深度神經網絡模型重要，不能剪掉；δ_i＝1表示卷積核W_i對深度神經網絡模型不重要，能剪掉；L(W_i)表示卷積核W_i對深度神經網絡模型的貢獻程度；n_i表示能剪掉的卷積核數量；n表示卷積核的總數量；

為了衡量卷積核W_i對深度神經網絡模型的貢獻程度，需求助于輸入的訓練圖片，定義L(W_i)為以下式(2)：

在式(2)中，P(I)表示訓練圖片I的分布；o(I)表示卷積核W_i所產生的特征圖；表示特征圖o(I)的秩；

對于輸入的任意一張訓練圖片I，設計公式(3)來衡量一個卷積核的重要性：

在式(3)中，g表示輸入的訓練圖片的數量；

對于輸入至待剪枝的深度神經網絡模型的訓練圖片，通過公式(3)統計出每一個卷積核所產生的特征圖的總秩值，并計算出每一個卷積核所產生的特征圖的平均秩。

3.根據權利要求2所述的一種基于高秩卷積圖的核剪枝方法，其特征在于，所述輸入至待剪枝的深度神經網絡模型的訓練圖片的數量為300-800張。

4.根據權利要求3所述的一種基于高秩卷積圖的核剪枝方法，其特征在于，所述訓練圖片的數量為500張。

5.根據權利要求1所述的一種基于高秩卷積圖的核剪枝方法，其特征在于，所述待剪枝的深度神經網絡模型為VGGNet深度神經網絡模型、GoogleNet深度神經網絡模型或者ResNet深度神經網絡模型。

6.根據權利要求1所述的一種基于高秩卷積圖的核剪枝方法，其特征在于，所述的將待剪枝的深度神經網絡模型中的各個卷積核按照由小到大的順序進行排序具體包括：根據深度神經網絡模型的層數，將待剪枝的深度神經網絡模型中每一層的卷積核均按照由小到大的順序進行排序。

7.根據權利要求6所述的一種基于高秩卷積圖的核剪枝方法，其特征在于，所述的給定卷積核的剪枝目標，根據剪枝目標對待剪枝的深度神經網絡模型的卷積核進行剪枝具體包括：

給定深度神經網絡模型中每一層的卷積核剪枝數量，根據每一層的卷積核的排序順序和每一層的卷積核剪枝數量，按照由小到大的順序從待剪枝的深度神經網絡模型的對應層剪枝掉對應數量的卷積核。