[發明專利]一種基于通道梯度剪枝的柔性深度學習網絡模型壓縮方法

在審

• 申請號: 202011308919.9
• 申請日: 2020-11-20
• 公開（公告）號: CN112396179A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 禹鑫燚;戎錦濤;歐林林;張銘揚;林密
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

一種基于通道梯度剪枝的柔性深度學習網絡模型壓縮方法，包括：步驟1、向原始網絡添加遮掩層約束，獲取待剪枝的深度卷積神經網絡模型，步驟2、網絡模型在數據集上訓練，根據通道梯度和權值的乘積的絕對值作為重要性標準更新通道的遮掩層約束，得到掩碼和稀疏模型，步驟3、基于掩碼對稀疏模型做剪枝操作，步驟4、重訓練緊湊的深度卷積神經網絡模型。本發明還提供了基于通道梯度剪枝的柔性深度學習網絡模型壓縮方法在實際物體識別APP上的應用效果，剪枝后模型對物體的識別速度大幅提升，解決了深度神經網絡模型因高存儲空間占用，高內存占用，高計算資源占用導致無法部署到嵌入式、智能手機等設備上的技術問題，拓展了深度神經網絡的應用范圍。

技術領域

本發明涉及一種柔性深度學習網絡模型壓縮方法，具體涉及智能手機APP 上實現物體識別的實際應用。

背景技術

深度學習在圖像識別、目標檢測、圖像分割、語音識別，QA問答等多個任 務中都得到了應用，并取得了相較傳統方法更出色的效果。但深度神經網絡出色 的性能與其復雜的結構和自身龐大的參數量密切相關。并且隨著技術進步，深度 學習領域有著神經網絡模型結構趨于復雜的發展趨勢。因此，高性能的深度神經 網絡模型對硬盤存儲空間，內存帶寬和平臺計算資源的需求非常高。深度神經網 絡模型的高資源需求和手機、手環、自動駕駛車輛等平臺的有限資源間的矛盾限 制了其在此類平臺的部署工作，降低神經網絡的應用價值。為了將深度神經網絡 模型部署到資源受限的平臺，網絡模型需要被進一步壓縮來實現保證性能的同時 降低模型復雜度、模型計算量和提升推理速度的目標。

剪枝一些冗余的網絡參數是壓縮卷積神經網絡模型進而加快模型推理的一 種普遍方法。根據修改的粒度不同以及剪枝后的網絡結構是否發生變化，剪枝可 以分為非結構化剪枝和結構化剪枝。非結構化剪枝的目標是神經元(通道)內部權 重參數矩陣。在剪枝過程中，通道中的權重會根據一些規則被刪除進而減少模型 參數量。在論文Learning bothweights and connections for efficient neural network (Han S,Pool J,Tran J,etal.Learning both weights and connections for efficient neural network[C].Advances in neural information processing systems.2015: 1135-1143.)中Has等將權重大小小于閾值的權重視為冗余參數并剪除得到稀疏 通道。但稀疏通道無法被通用硬件直接加速，使得實際剪枝后的網絡依賴特殊設 計的軟硬件才能進行推理。結構化剪枝的目標是神經元(通道)。在保證性能穩定 和結構規整前提下，結構化剪枝通過減少每一層的通道數來減少模型參數量和加 速通用硬件上網絡推理。專利(郭烈,高建東,趙劍,劉蓬勃,石振周.一種基于網絡 層剪枝的深度學習網絡模型壓縮方法[P].遼寧?。篊N111401523A,2020-07-10) 中，郭烈等提出一種以批規范化(Batch Normalization,BN)層Gamma參數大小 作為判別標準的通道剪枝方法，將Gamma參數小于閾值的通道刪除。但該方法 采用BN層Gamma參數作為反映實際通道對結果影響大小的標準是欠妥的。這 兩者并非完全一致。在論文基于層融合特征系數的動態網絡結構化剪枝(盧海偉, 袁曉彤.基于層融合特征系數的動態網絡結構化剪枝[J].模式識別與人工智 能,2019,32(11):1051-1059)中，盧海偉等人提出一種基于層融合特征系數的動態 網絡結構化剪枝方法，同時考慮BN層參數和Dropout操作對特征圖的影響，利 用多動態參數尋找并刪除冗余通道，獲取最優網絡結構。但是該方法將卷積層 +BN層的結構轉化為全連接層結構后，引入超參數來控制壓縮率不能直接反映 實際壓縮率，即無法在剪枝結束前預測最終的每秒浮點運算次數(Floating-point Operations Per second,FLOPs)壓縮率。此外，被剪后的通道不再提取特征意味 著剪枝后的模型不可避免出現一定程度的性能下降。

發明內容

本發明克服現有技術的上述缺點，提出一種基于通道梯度剪枝的柔性深度學 習網絡模型壓縮方法。