[發明專利]一種基于變分結構優化網絡的通道剪枝方法

有效

• 申請號: 202011050565.2
• 申請日: 2020-09-29
• 公開（公告）號: CN112215353B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 劉欣剛;韓碩;孫睿成;宋高宇;曾昕;代成
• 申請（專利權）人: 電子科技大學
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/0464
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 甘茂

本發明屬于卷積神經網絡壓縮與加速技術領域，具體提供一種基于變分結構優化網絡的通道剪枝方法，通過基于變分結構優化網絡的通道剪枝技術對深度卷積神經網絡模型進行壓縮，考慮了目前大型神經網絡在資源受限上的應用局限性，采用通道剪枝技術對原始網絡進行壓縮，在不影響原始網絡性能的前提下，盡可能的壓縮網絡參數，減少網絡前向傳播過程中激活層的內存占用，降低運行時進行的浮點運算次數，以實現輕量化網絡的目標。本發明通過自動優化網絡結構，卓有成效地降低了深度卷積神經網路的參數冗余，提高了其運行速度，從而擴大了神經網絡在邊緣設備上的應用場景。

技術領域

本發明屬于卷積神經網絡壓縮與加速技術領域，具體提供一種基于變分結構優化網絡的通道剪枝方法。

背景技術

神經網絡模型是對生物神經網絡學習系統的數學表達，卷積神經網絡(CNN)是其中的一種，在圖像分類、物體檢測、圖像分割等機器視覺領域的應用中展現出了最先進的性能。然而，卷積神經網絡的成功往往依賴于大量的計算和內存資源，圖像分類中最先進的模型通常有數以千萬計的參數，需要數十億次浮點運算才能完成對一幅圖像的預測；龐大的參數量與計算量使得卷積神經網絡的諸多實際應用中(特別是基于移動設備、筆記本電腦和可穿戴設備等資源受限設備的應用)部署困難。

近年來，許多研究表明，深度神經網絡面臨著嚴峻的過參數化，模型內部參數存在著巨大的冗余，在實際部署時有巨大的優化空間，從而揭示了模型壓縮的可行性。受此啟發，一系列模型壓縮技術包括張量分解、網絡量化、知識蒸餾、模型剪枝等被提出以期在保持高準確率的情況下盡可能降低大型神經網絡的復雜度。模型剪枝作為高效、普適性強的方法之一，受到了眾多研究者的關注；模型剪枝依據剪枝細粒度可以被分為權重剪枝與通道剪枝兩大類，權重剪枝通過修剪小權重實現非結構化的參數稀疏，但不規則的稀疏參數矩陣往往需要專門的軟件與硬件以實現進一步壓縮與加速；通道剪枝直接修剪不重要的整個濾波器以實現結構化剪枝，其完全被現有的硬軟件所支持，在實際應用中更為有效。

通道剪枝的基本思路是衡量濾波器重要性，然后減去不重要的濾波器；不過傳統的通道剪枝中往往基于人工設計的方法度量濾波器重要性，其極度依賴專家經驗，傾向于片面與主觀，而剪去多少不重要的濾波器也往往通過啟發式或搜索式的方法進行選擇，導致剪枝過程繁瑣低效，實現的壓縮性能有限。因此，設計一種高效的能自動尋找最優通道剪枝結構的模型壓縮方法顯得尤為重要。

發明內容

本發明的發明目的在于針對上述存在的問題，提供一種自動尋找最優通道結構的端到端通道剪枝方法，為實現該目的，本發明提供的技術方案如下：

一種基于變分結構優化網絡的通道剪枝方法，包括以下步驟：

步驟S1：基于原始CNN構建變分結構優化網絡；

變分結構優化網絡框架由權重生成器與剪枝后網絡(PrunedCNN)連接組成，輸入為通道尺度變量v與圖像分類數據集，輸出為預測的類別概率p(y|x,v)；

步驟S2：訓練變分結構優化網絡；

將通道尺度v作為變分變量，在變分結構優化網絡中進行變分推斷，選擇截尾對數均勻分布與截尾對數正態分布為通道尺度v的先驗與后驗分布，使用隨機梯度變分貝葉斯(SGVB)方法，利用圖像分類數據集計算變分證據下界(ELBO)；通過批梯度下降法優化得到最優權重生成器參數g^*與通道尺度后驗分布超參數φ^*；

步驟S3：計算通道尺度v后驗分布的期望作為最優通道尺度v^*，將最優通道尺度v^*輸入具有參數g^*的權重生成器中、生成權重加載到變分結構優化網絡中，得到最優剪枝后網絡(Optimal?PrunedCNN)。

進一步的，所述步驟S1包括以下步驟：