[發明專利]一種基于通道剪枝的卷積神經網絡壓縮方法

在審

• 申請號: 202011505386.3
• 申請日: 2020-12-18
• 公開（公告）號: CN112633472A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 王慧青;焦越;余厚云;李坤宇
• 申請（專利權）人: 東南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 周蔚然

1.一種基于通道剪枝的卷積神經網絡模型壓縮方法，其特征在于，包括如下步驟：

第一步，計算模型中所有卷積層特征圖的平均激活，并按平均激活對每一層的特征圖進行排序；

第二步，選擇每一個卷積層中平均激活最小的特征圖中，對模型最終損失影響最小的特征圖，從模型中將其剪除對應的通道；

第三步，判斷模型的準確率是否低于某一閾值T，若低于該閾值，則對基準模型進行微調，直至其收斂，返回第一步；

第四步，判斷剪枝的比例是否達到預設的比例R，若沒有達到，則返回第二步，否則執行第五步；

第五步，重新對模型進行微調，恢復準確率。

2.根據權利要求1所述的基于通道剪枝的卷積神經網絡模型壓縮方法，其特征在于，第一步中特征圖平均激活的計算方法為：

假設樣本集的數量為N，卷積層輸入矩陣為a∈R^N×H×W×C，H、W和C分別為特征圖的高、寬，和通道的數量；則第k個通道對應的特征圖的平均激活為：

。

3.根據權利要求1所述的基于通道剪枝的卷積神經網絡模型壓縮方法，其特征在于，第二步的具體過程為：

記S^(l)為第l層所有通道的集合，k^(l)為第l層特征圖平均激活最小的通道，即：

令K＝{k⁽¹⁾,k⁽²⁾,...,k^(L)}為每一層中平均激活最小的通道的集合，其中L為卷積層的層數，在剪枝的過程中維護一個集合K，并嘗試性的剪去其中的每一個通道，在測試集上評估模型損失的變化，最終選擇模型損失最小的通道作為剪枝的通道。

4.根據權利要求1所述的基于通道剪枝的卷積神經網絡模型壓縮方法，其特征在于，第三步中，對模型進行微調的方法為：

采用較小的學習率對剪枝后的模型的所有卷積層進行訓練；采用提前終止的方法，當模型的損失在某個固定回合內不再下降時，停止訓練。

5.根據權利要求1所述的基于通道剪枝的卷積神經網絡模型壓縮方法，其特征在于，第五步中所采用的微調方法與第三步中相同。