[發明專利]基于特征冗余分析的神經網絡跨層剪枝方法

有效

• 申請號: 201810474089.3
• 申請日: 2018-05-17
• 公開（公告）號: CN108764471B
• 公開（公告）日: 2020-04-14
• 發明（設計）人: 董偉生;楊文慧;毋芳芳;石光明;謝雪梅;吳金建
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06N3/06
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華

本發明公開了一種基于特征冗余分析的神經網絡跨層剪枝方法，主要解決現有技術對擴張殘差單元進行逐層剪枝會造成深度卷積層信息丟失的問題。其實現方案是：1)獲取訓練樣本集；2)構建44層卷積神經網絡；3)更新44層卷積神經網絡參數；4)判斷初始訓練的更新次數是否達到100次：若是，則得到訓練好的44層卷積神經網絡，對訓練好的44層卷積神經網絡進行跨層剪枝，執行5)；否則，返回3)；5)對剪枝后的稀疏網絡進行微調訓練；6)判斷微調訓練的更新次數是否達到40次：若是，則得到微調后的稀疏網絡，否則，返回5)。本發明減少神經網絡中神經元或特征的退化，降低了神經網絡的參數和存儲尺寸，可用于移動端和嵌入式設備中。

技術領域

本發明屬于圖像處理技術領域，更進一步涉及一種神經網絡跨層剪枝方法，可用于將深度卷積神經網絡模型部署到移動端和嵌入式設備中。

背景技術

近年來，由于深度學習在語音識別、圖像識別、目標檢測等諸多計算機視覺任務中取得了突破性的成果而被廣泛應用，成為了機器學習領域最具有代表性的技術。卷積神經網絡模型普遍存在的現象是：第一，模型參數多、體積龐大、計算復雜度高且容易出現過擬合；第二，需要依靠非常多的訓練數據和高性能并行計算設備進行長時間的訓練，對硬件資源要求高，且功耗驚人。以上這些問題的存在都非常不利于深度卷積神經網絡模型在移動端和嵌入式設備上的部署和應用。有研究指出，大規模的卷積神經網絡中有相當一部分的神經元和連接權重對模型的性能沒有實質性的影響，如果可以將這部分從網絡中刪減掉，不僅可以節省75％的參數，還可以縮減掉約50％的計算時間，說明神經網絡模型的壓縮具有潛在的可能性。以上背景表明，對深度卷積神經網絡中的冗余參數和冗余特征進行剪枝在移動端和嵌入式設備的應用場景中具有重要的現實意義。

Howard等人在其發表的論文“Mobilenets:Efficient convolutional neuralnetworks for mobile vision applications”(Computer Vision and PatternRecognition,2017)中基于空間信息和深度信息分離的思想，將標準卷積操作拆分成一個深度卷積層接一個逐點卷積層，這種方法雖能有效地減少模型參數量和計算量，但由于僅使用深度可分離卷積構建了一個非常簡單的直筒結構，對特征的復用性不強；另一方面，在深度卷積層部分，由于輸入特征維度過小，再加上非線性的作用容易造成神經元或特征的退化。

Liu Zhuang等人在其發表的論文“Learning efficient convolutionalnetworks through network slimming”(IEEE International Conference on ComputerVision，2017)中對神經網絡進行逐層剪枝，首先通過稀疏約束的優化方法將神經網絡模型正則化，然后通過恢復和重新訓練被剪枝的連接權重來提高預測精度，可以減小模型大小，降低運行內存和計算量，沒有精度損失，而且不會給網絡帶來任何額外的開銷。該方法的不足之處是，僅對常規卷積層堆疊而成的神經網絡結構剪枝效果較好，但不適用于對具有擴張殘差單元結構的神經網絡進行剪枝，具有較大的局限性。

發明內容

本發明的目的在于針對上述現有技術的不足，提出一種基于特征冗余分析的神經網絡跨層剪枝方法，旨在減少神經網絡中神經元或特征的退化，降低神經網絡的參數和存儲尺寸，克服現有逐通道剪枝方法不適用于對具有擴張殘差單元結構的神經網絡進行剪枝的局限性。

為實現上述目的，本發明的技術方案是：通過對構建的神經網絡中逐點卷積層特征的重要性進行分析，實現對逐點卷積層中冗余特征的剪枝，其實現步驟包括如下：

(1)獲取訓練樣本集：

選用CIFAR10數據集中的60000幅32×32的彩色圖像作為輸出樣本集，共分為10個類，從每一類中隨機選取5000幅圖，共50000幅圖構成輸入訓練樣本集；

(2)構建44層卷積神經網絡：