[發(fā)明專利]基于范數(shù)的卷積神經網絡模型的濾波器剪枝方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011345927.0
• 申請日: 2020-11-26
• 公開（公告）號: CN112270405A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設計）人: 劉楚波;丁浩濤;李肯立;肖國慶;陽王東;周旭;唐卓;李克勤
• 申請（專利權）人: 湖南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 武漢臻誠專利代理事務所(普通合伙) 42233
• 代理人: 宋業(yè)斌

1.一種基于范數(shù)的卷積神經網絡模型的濾波器剪枝方法，其特征在于，包括以下步驟：

(1)對已經訓練好的卷積神經網絡模型的每個卷積層的所有濾波器進行可視化處理，得到每個卷積層的每個濾波器的最大激活值，根據(jù)最大激活值得到每個卷積層的每個濾波器的輸出特征圖，利用輸出特征圖采用聚類算法對每個卷積層的所有濾波器進行聚類，以得到第s個卷積層的M_s個蔟，其中s∈[1，卷積神經網絡模型中卷積層的總數(shù)]。

(2)對于每個卷積層的M_s個蔟中的每個蔟而言，獲取該蔟的每個濾波器的權值參數(shù)，根據(jù)權值參數(shù)并利用歐幾里得范數(shù)公式計算每個濾波器的p范數(shù)，將該蔟中所有濾波器的p范數(shù)取均值以得到該蔟的平均范數(shù)，再根據(jù)平均范數(shù)確定該蔟的剪枝率p_s，m，并按照該蔟的剪枝率p_s，m在該蔟內進行剪枝，其中m∈[1，M_s]。

(3)對每個卷積層而言，將其M_s個蔟按照每個蔟的平均范數(shù)進行從小到大的排序，根據(jù)卷積神經網絡模型剪枝每個蔟后的模型精度損失大小，確定該卷積層中能夠被剪枝的所有蔟，并對這些蔟進行剪枝，從而得到剪枝處理后的卷積層。

2.如權利要求1所述的基于范數(shù)的卷積神經網絡模型的濾波器剪枝方法，其特征在于，步驟(1)包括如下子步驟：

(1-1)獲取一張帶有隨機噪聲的圖像X；

(1-2)將圖像X輸入已經訓練好的卷積神經網絡模型中，并在卷積神經網絡模型中進行前向傳播，以依次獲得每個卷積層的每個濾波器的激活其中i∈[1，卷積層中濾波器的總數(shù)]；

(1-3)對每個卷積層的每個濾波器，使用反向傳播算法計算步驟(1-2)得到的激活的卷積核梯度，并使用得到的卷積核梯度來更新圖像X，具體為：

其中η為反向傳播算法中梯度上升的步長；

(1-4)對更新后的圖像X，重復步驟(1-2)和(1-3)，直至每個卷積層的每個濾波器都具有最大激活值為止，具體為：

(1-5)對每個卷積層的每個濾波器而言，將該濾波器具有最大激活值時的輸出圖像作為該濾波器輸出的特征圖利用輸出特征圖采用聚類算法對每個卷積層的所有濾波器進行聚類，以得到第s個卷積層的M_s個蔟。

3.如權利要求1或2所述的基于范數(shù)的卷積神經網絡模型的濾波器剪枝方法，其特征在于，步驟(1)中采用的聚類算法是K-means聚類算法。

4.如權利要求1至3中任意一項所述的基于范數(shù)的卷積神經網絡模型的濾波器剪枝方法，其特征在于，對每個卷積層而言，步驟(2)包括如下子步驟：

(2-1)對M_s個蔟中的每個蔟而言，獲取該蔟中每個濾波器的所有權值參數(shù)，根據(jù)該權值參數(shù)并利用歐幾里得范數(shù)公式計算得到第m個蔟的第l個濾波器的p范數(shù)||W_m，l||₂，具體為：

其中w_mlj為第m個蔟的第l個濾波器的第j個權值參數(shù)，l∈[1，蔟中濾波器的總數(shù)]，j∈[1，濾波器的權值參數(shù)總數(shù)]；

(2-2)對M_s個蔟中的每個蔟而言，將該蔟中所有濾波器的p范數(shù)||W_m，l||₂進行求和平均，以得到該蔟的平均范數(shù)；

(2-3)對M_s個蔟的平均范數(shù)從大到小進行排序，根據(jù)排序結果按照從小到大設置每個蔟的剪枝率為p_s，m；

(2-4)對M_s個蔟中的每個蔟而言，對該蔟中所有濾波器按照p范數(shù)||W_m，l||₂從小到大的順序進行剪枝，直至達到每個蔟的剪枝率p_s，m時停止剪枝，得到每個蔟更新后的濾波器。

5.如權利要求1至4中任意一項所述的基于范數(shù)的卷積神經網絡模型的濾波器剪枝方法，其特征在于，每個蔟的剪枝率p_s，m的范圍為0.05≤p_s，m≤0.9，且滿足p_s，m+1-p_s，m＝0.05。