[發明專利]基于剪枝卷積神經網絡的分類方法及相關設備

在審

• 申請號: 202210458103.7
• 申請日: 2022-04-27
• 公開（公告）號: CN114881135A
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 陸強
• 申請（專利權）人: 際絡科技（上海）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 周淑娟

本發明提供一種基于剪枝卷積神經網絡的分類方法及相關設備，包括：基于訓練數據以及訓練數據對應的標簽訓練得到預先訓練好的分類模型；在預設的模型目標性能基礎上通過對預先訓練好的分類模型分別進行結構化剪枝與非結構化剪枝后得到剪枝后的分類模型；獲取待分類的圖片；將待分類的圖片輸入剪枝后的分類模型，得到對應的分類結果。本發明能夠在預設的模型目標性能基礎上對分類模型實現混合剪枝，從而最大程度上壓縮簡化模型。

技術領域

本發明涉及模型剪枝技術領域，尤其涉及一種基于剪枝卷積神經網絡的分類方法及相關設備。

背景技術

模型剪枝是神經網絡模型壓縮領域的常用方法，用來壓縮模型大小以及加速模型計算，通常情況下是通過裁剪掉神經網絡權重中不重要的張量來達到降低整個神經網絡的計算量的目的。按照剪枝粒度由小到大來分，具體的剪枝粒度包括：細粒度剪枝(fine-grained)、向量剪枝(vector-level)、核剪枝(kernel-level)、濾波器剪枝(Filter-level)以及層剪枝(layer-level)。

其中，細粒度剪枝就是對連接或者神經元進行剪枝，它是粒度最小的剪枝。向量剪枝相對于細粒度剪枝粒度更大，屬于對卷積核內部(intra-kernel)的剪枝。核剪枝則是去除某個卷積核，它將丟棄對輸入通道中對應計算通道的響應。濾波器剪枝是對整個卷積核組進行剪枝，會造成推理過程中輸出特征通道數的改變。

上述細粒度剪枝、向量剪枝、核剪枝方法在參數量與模型性能之間取得了一定的平衡，但是網絡的拓撲結構本身發生了變化，需要專門的算法設計來支持這種稀疏的運算，被稱之為非結構化剪枝。

而濾波器剪枝只改變了網絡中的濾波器組和特征通道數目，所獲得的模型不需要專門的算法設計就能夠運行，被稱為結構化剪枝。除此之外還有對整個網絡層的剪枝，它可以被看作是濾波器剪枝的變種，即所有的濾波器都丟棄。

混合剪枝就是從不同剪枝粒度入手對整個模型進行剪枝，而現有混合剪枝，常以壓縮率為目標來剪枝模型，但剪枝之后模型性能下降多少無法控制，且在混合剪枝時，僅混合1-2種剪枝粒度，不能充分挖掘既定目標下的模型剪枝極限。

因此，如何在既定剪枝目標下通過混合多種剪枝粒度來最大程度壓縮簡化模型是亟需解決的問題。

發明內容

本發明提供一種基于剪枝卷積神經網絡的分類方法及相關設備，用以解決上述問題。

本發明提供一種基于剪枝卷積神經網絡的分類方法，包括：

基于訓練數據以及訓練數據對應的標簽訓練得到預先訓練好的分類模型；

在預設的模型目標性能基礎上通過對所述預先訓練好的分類模型分別進行結構化剪枝與非結構化剪枝后得到剪枝后的分類模型；

獲取待分類的圖片；

將所述待分類的圖片輸入所述剪枝后的分類模型，得到對應的分類結果。

根據本發明提供的一種基于剪枝卷積神經網絡的分類方法，所述結構化剪枝包括卷積層剪枝與過濾器剪枝；

相應地，所述剪枝后的分類模型是在預設的模型目標性能基礎上通過對預先訓練好的分類模型分別進行結構化剪枝與非結構化剪枝后得到，包括：

S1、對預先訓練好的分類模型中的每個卷積層的各個過濾器進行過濾器剪枝敏感度分析，得到滿足預設的模型目標性能的最大卷積層剪枝率；

S2、判斷所述最大卷積層剪枝率是否大于預設的卷積層剪枝率閾值；

在所述最大卷積層剪枝率大于預設的卷積層剪枝率閾值的情況下，對所述最大卷積層剪枝率所對應的卷積層進行卷積層剪枝；

在所述最大卷積層剪枝率不大于預設的卷積層剪枝率閾值的情況下，對所述最大卷積層剪枝率所對應的過濾器進行過濾器剪枝；