[發明專利]一種基于通道剪枝的卷積神經網絡壓縮方法

在審

• 申請號: 202011505386.3
• 申請日: 2020-12-18
• 公開（公告）號: CN112633472A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 王慧青;焦越;余厚云;李坤宇
• 申請（專利權）人: 東南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 周蔚然

本發明公開了一種基于通道剪枝的卷積神經網絡壓縮方法，包括：在卷積層內采用基于特征圖平均激活的通道選擇方法；在卷積層間采用基于損失估計的通道選擇方法；當模型的準確率下降后進行微調的方法。本發明能夠在控制整體剪枝比例的同時，實現通道間的自適應剪枝，取得良好的剪枝效果。

技術領域

本發明屬于計算機視覺領域，涉及深度學習技術，特別是涉及一種基于通道剪枝的卷積神經網絡壓縮方法。

背景技術

近年來，深度學習在視覺領域取得了飛速的發展，越來越多的高精度模型被相繼提出。然而，隨著模型的層數越來越深，對于計算和存儲的要求也越來越高。例如VGG16有1億3 千多萬參數，需要近150億次浮點運算才能完成一次圖像識別任務。而在實際應用中，常常面臨資源受限的問題，因此必須對網絡模型進行壓縮和加速。

目前已經有很多模型壓縮和加速的方法，對卷積層進行通道剪枝是其中最常用的一種方法。這一類方法不會破壞原有的模型結構，原來模型的參數可以不加修改的直接應用于新的模型，因此實現起來較為容易，也不依賴于具體的硬件和第三方庫。但是剪枝方法也相對較為粗放，容易破壞模型的泛化能力，造成模型質量的急劇下降。現有的剪枝方法通常沒有考慮卷積層之間的敏感性差異，或是需要根據經驗設置每一層的剪枝比例，造成剪枝的效果不理想，靈活性較差，帶來了很大的應用困難。

發明內容

為解決上述問題，本發明公開了一種基于通道剪枝的卷積神經網絡壓縮方法，通過在層內采用特征圖激活和層間采用損失估計剪枝標準，能夠充分考慮到不同卷積層的敏感性，在控制整體的剪枝比例情況下實現自適應剪枝。

為了達到上述目的，本發明的技術方案如下：

一種基于通道剪枝的卷積神經網絡壓縮方法，包括如下步驟：

第一步，計算模型中所有卷積層特征圖的平均激活，并按平均激活對每一層的特征圖進行排序；

第二步，選擇每一個卷積層中平均激活最小的特征圖中，對模型最終損失影響最小的特征圖，從模型中將其剪除對應的通道；

第三步，判斷模型的準確率是否低于某一閾值T，若低于該閾值，則對基準模型進行微調，直至其大致收斂，返回第一步；

第四步，判斷剪枝的比例是否達到預設的比例R，若沒有達到，則返回第二步；

第五步，重新對模型進行微調，恢復準確率。

進一步的，第一步包括如下過程：

從數據集的訓練集中劃分出一部分數據作為樣本集，設樣本集的數量為N，卷積層輸入矩陣為a∈R^N×H×W×C，H、W和C分別為特征圖的高、寬，和通道的數量。則第k個通道對應的特征圖的平均激活為：

對每一層C個通道按照特征圖的平均激活進行排序。

進一步的，第二步包括如下過程：

記S^(l)為第l層所有通道的集合，k^(l)為第l層特征圖平均激活最小的通道，即：

令K＝{k⁽¹⁾,k⁽²⁾,...,k^(L)}為每一層中平均激活最小的通道的集合，其中L為卷積層的層數。在剪枝的過程中維護一個集合K，并嘗試性的剪去其中的每一個通道，在測試集上評估模型損失的變化，最終選擇模型損失最小的通道作為剪枝的通道，從模型中將其剪除

進一步的，第三步包括如下過程：