[發明專利]一種基于通道L1范數剪枝的神經網絡壓縮方法

在審

• 申請號: 202010039831.5
• 申請日: 2020-01-15
• 公開（公告）號: CN111242287A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 陸生禮;樊迎博;龐偉
• 申請（專利權）人: 東南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/04
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 熊玉瑋

本發明公開了一種基于通道L1范數剪枝的神經網絡壓縮方法，屬于計算、推算或計數的技術領域。該方法在外部數據集上訓練卷積神經網絡后獲取該網絡的初始化權值參數；在卷積核通道方向上根據參數group將待剪枝卷積層的權值參數分為n個組，并分別求取每個組的L1范數；根據一定的閾值對L1范數大于閾值的組內權值進行剪枝，對L1范數小于閾值的組內權值予以保留并參與再訓練。本發明在保證參數的特征提取能力不被壓縮的同時在一定程度上減小剪枝對最終目標檢測準確率的影響，解決了剪枝后準確率下降過多以及硬件實現難度大的問題。

技術領域

本發明公開了一種基于通道L1范數剪枝的神經網絡壓縮方法，涉及人工智能神經網絡技術，屬于計算、推算、計數的技術領域。

背景技術

近年來，隨著計算能力的提升、大數據的積累和學習算法的進步，以深度神經網絡(Deep Neural Network，簡稱DNN)為代表的深度學習已經逐步取代傳統機器學習算法，大量的實踐應用于自然語言處理、目標檢測識別和數據挖掘等諸多領域，成為當今人工智能領域最主要的研究熱點。深度學習的成功很大程度上依賴于龐大的數據集和高達數百萬的參數，但是無論是推斷過程還是訓練過程都需要使用龐大的存儲空間和計算資源，同時還會消耗大量的能量，因此催生了對神經網絡模型剪枝壓縮的研究。對龐大的參數模型進行剪枝壓縮，以剪枝后精簡的權重參數取代冗余的全部參數為深度神經網絡在手機等嵌入式終端設備的應用創造了可能。

現有的剪枝壓縮方法主要采用的策略是將卷積神經網絡中冗余的參數挑選出來，讓這些冗余的參數不參與之后的梯度更新或直接置0，實現網絡運算計算量的減少和存儲空間的節省。其中，傳統通道剪枝、中位數卷積核剪枝等方法雖然可以保持剪枝后的較高準確率，但剪枝率過于固定而且壓縮率小，使得其無法根據人們對不同硬件壓縮率需求的不同來進行調整，不利于嵌入式終端設備的應用。

深度神經網絡的訓練本身都已耗費大量的運算資源和時間，龐大的參數矩陣的形成及更新更是需要較大的計算資源和時間才能實現，而且龐大的參數模型無法有效地應用于一些小型化的嵌入式終端設備。而普通的剪枝壓縮方法雖然可以有效解決計算資源和時間花費較大的問題，但卻犧牲了網絡模型的分類精度。對卷積核的L1范數進行判斷剪枝的優化方案雖然能夠實現有效壓縮和快速計算，但是沒有考慮到通道方向才是可以去除冗余的最佳選擇。而采用對通道卷積核權重分布進行調整的剪枝方法雖然能夠去除冗余，但是對網絡結構缺乏處理，沒有對不同層的不同通道狀況進行分析比較。此外，上述剪枝方法的壓縮率大都在得到預訓練模型的時候就已經固定，使得我們無法根據實際的硬件情況調整網絡的壓縮率，從而限制了這些剪枝方法的應用范圍。本申請旨在為了更好地解決在剪枝壓縮后的精度下降問題和并實現壓縮率的自我調整，提供了一種基于通道L1范數剪枝的神經網絡壓縮方案。

發明內容

本發明的發明目的是針對上述背景技術的不足，提供了一種基于通道L1范數剪枝的神經網絡壓縮方法，將預訓練的網絡模型剪枝成為精簡壓縮模型，充分減小剪枝對分類準確率下降這一影響的同時加入了壓縮率可根據實際硬件需求自行調整的選項，降低了網絡模型在硬件上應用的復雜度，解決了現有剪枝壓縮方法壓縮率固定和神經網絡精度下降大且硬件實現難度大的技術問題。

本發明為實現上述發明目的采用如下技術方案：

一種基于通道L1范數剪枝的神經網絡壓縮方法，包括如下步驟：

步驟1，根據網絡資源庫公開的數據集和網絡模型，自行調整參數并在數據集上對卷積神經網絡進行訓練，對得到的權值參數進行測試并調整網絡模型和參數，使訓練出的模型達到目標準確率，獲取高精度下的權值參數；

步驟2，對于初始化的權值參數，根據每層剪枝后對準確率下降敏感的程度由大到小來確定剪枝重訓練的先后順序，依此敏感度將卷積層分為互斥的兩組，其中，敏感度小的那組卷積層的權值保持不變，對敏感度大的那組卷積層的權值進行基于通道L1范數的分組剪枝；