[發明專利]基于范數的卷積神經網絡模型的濾波器剪枝方法和系統

在審

• 申請號: 202011345927.0
• 申請日: 2020-11-26
• 公開（公告）號: CN112270405A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 劉楚波;丁浩濤;李肯立;肖國慶;陽王東;周旭;唐卓;李克勤
• 申請（專利權）人: 湖南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 武漢臻誠專利代理事務所(普通合伙) 42233
• 代理人: 宋業斌

本發明公開了一種基于范數的卷積神經網絡模型的濾波器剪枝方法，包括以下步驟：(1)將卷積神經網絡模型的所有濾波器進行可視化，根據可視化輸出特征圖聚類為多個蔟；(2)根據每個蔟的平均范數確定該蔟的剪枝率；(3)根據每個蔟被剪枝后的模型精度損失大小，判斷該蔟能否被剪枝；(4)每個卷積層剪枝后的結構，構成新的卷積神經網絡模型。本發明在保證模型精度的情況下盡可能大的對模型進行壓縮，在對冗余濾波器進行剪枝的同時保留了提取特定特征且范數較小的濾波器，保證了卷積神經網絡模型的功能完整性。

技術領域

本發明屬于計算機技術領域，更具體地，涉及基于范數的卷積神經網絡模型的濾波器剪枝方法和系統。

背景技術

隨著互聯網技術和人工智能的發展，卷積神經網絡(Convolution NeuralNetwork，簡稱CNN)在計算機視覺領域表現出巨大優勢，但因巨大的計算代價和內存占用，很難在資源有限的平臺(如移動客戶端)上部署。CNN包括一系列卷積層和全連接層，每個卷積層包含了多個濾波器，對部分濾波器在保證網絡模型精度的前提下，進行剪枝以實現網絡模型壓縮，有利于在資源有限的平臺上部署。

現有的剪枝方法多以濾波器范數進行排序，用設定的閾值確定冗余的濾波器數量，從而將冗余的濾波器進行剪枝。

然而，現有的剪枝方法存在一些不可忽略的缺陷：由于其僅僅基于所有濾波器的范數排序進行剪枝，而沒有從功能上對濾波器進行判斷，因此容易將一類范數小而特征大的濾波器剪枝掉，從而破壞了CNN模型的功能完整性，并進而導致CNN模型由于出現精度損失而無法提取部分特征。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種基于范數的卷積神經網絡模型的濾波器剪枝方法和系統，其目的在于，對每個卷積層濾波器聚類為多個蔟，在每個蔟內采用范數排序的剪枝方法，和采用蔟間剪枝方法，解決現有技術中容易將一類范數小而特征大的濾波器剪枝掉，從而破壞卷積神經網絡模型的功能完整性，導致卷積神經網絡模型精度損失而無法提取部分特征的技術問題。

為實現上述目的，按照本發明的一個方面，提供了一種基于范數的卷積神經網絡模型的濾波器剪枝方法，包括以下步驟：

(1)對已經訓練好的卷積神經網絡模型的每個卷積層的所有濾波器進行可視化處理，得到每個卷積層的每個濾波器的最大激活值，根據最大激活值得到每個卷積層的每個濾波器的輸出特征圖，利用輸出特征圖采用聚類算法對每個卷積層的所有濾波器進行聚類，以得到第s個卷積層的M_s個蔟，其中s∈[1，卷積神經網絡模型中卷積層的總數]；

(2)對于每個卷積層的M_s個蔟中的每個蔟而言，獲取該蔟的每個濾波器的權值參數，根據權值參數并利用歐幾里得范數公式計算每個濾波器的p范數，將該蔟中所有濾波器的p范數取均值以得到該蔟的平均范數，再根據平均范數確定該蔟的剪枝率p_s，m，并按照該蔟的剪枝率p_s，m在該蔟內進行剪枝，其中m∈[1，M_s]；

(3)對每個卷積層而言，將其M_s個蔟按照每個蔟的平均范數進行從小到大的排序，根據卷積神經網絡模型剪枝每個蔟后的模型精度損失大小，確定該卷積層中能夠被剪枝的所有蔟，并對這些蔟進行剪枝，從而得到剪枝處理后的卷積層。

優選地，步驟(1)包括如下子步驟：

(1-1)獲取一張帶有隨機噪聲的圖像X；

(1-2)將圖像X輸入已經訓練好的卷積神經網絡模型中，并在卷積神經網絡模型中進行前向傳播，以依次獲得每個卷積層的每個濾波器的激活其中i∈[1，卷積層中濾波器的總數]；

(1-3)對每個卷積層的每個濾波器，使用反向傳播算法計算步驟(1-2)得到的激活的卷積核梯度，并使用得到的卷積核梯度來更新圖像X，具體為：