[發明專利]基于分解和剪枝的卷積神經網絡壓縮方法、系統、裝置

在審

• 申請號: 201911029615.6
• 申請日: 2019-10-28
• 公開（公告）號: CN110782019A
• 公開（公告）日: 2020-02-11
• 發明（設計）人: 胡衛明;劉雨帆;阮曉峰;李兵;原春鋒;潘健
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 11576 北京市恒有知識產權代理事務所(普通合伙)
• 代理人: 郭文浩;尹文會

本發明屬于人工智能領域，具體涉及一種基于分解和剪枝的卷積神經網絡壓縮方法、系統、裝置，旨在解決采用低秩近似分解或結構化稀疏剪枝進行卷積神經網絡壓縮，導致壓縮力度較小的問題。本系統方法包括將每個待壓縮的卷積層后面添加一層系數矩陣表示層；通過低秩近似分解算法對系數矩陣表示層進行稀疏處理，并根據系數矩陣表示層稀疏的位置對對應的卷積層的濾波器進行剪枝處理；采用結構化稀疏剪枝方法對分解后的系數矩陣表示層進行稀疏處理，并根據系數矩陣表示層稀疏的位置對其濾波器進行剪枝處理；對稀疏剪枝處理后的卷積神經網絡進行訓練。本發明通過將低秩近似分解和結構化稀疏剪枝兩種方法融合，解決了單一方法引起的缺陷，提高了壓縮力度。

技術領域

本發明屬于人工智能領域，具體涉及一種基于分解和剪枝的卷積神經網絡壓縮方法、系統、裝置。

背景技術

隨著深度學習在人工智能領域表現出來的絕對優勢，比如計算機視覺、語音識別和自然語言處理等，人工智能的研究迎來了新一輪高潮。近年來，深度學習算法逐漸應用到工業界中，但是由于深度學習模型參數龐大，運算消耗時間長，限制了深度學習在移動設備和嵌入式設備中的應用。而神經網絡模型壓縮和加速方法可以減少模型存儲，降低計算能量消耗，減少實時內存消耗，同時縮短推理延遲時間。

模型壓縮大致可以分為以下4個方面：1)權重稀疏；通過在模型訓練損失函數中引入稀疏正則項，比如L₁范數，使模型參數稀疏，將小于一定閾值的參數進行剪枝，以達到模型參數減少的目的。2)低秩近似分解；通常采用低秩近似方法，比如SVD，對卷積層權重參數矩陣進行分解，來達到減少參數的目的。3)參數量化；將浮點數參數量化為低位定點數參數。4)結構化稀疏剪枝；以通道或者濾波器為最小單位稀疏剪枝的方法。

結構化稀疏剪枝的方法由于具有良好的硬件支持，大量的地應用在模型壓縮中。但是，通常的訓練過程比較繁瑣，需要預訓練、剪枝和微調模型3個階段。低秩近似分解方法可以大大減少模型參數，但是，分解后的模型通道具有一定的冗余性，削減了模型壓縮的力度。

因此，如何合理融合低秩近似分解和結構化稀疏剪枝兩種方法，揚長避短，是本領域研究人員需要解決的問題。

發明內容

為了解決現有技術中的上述問題，即為了解決采用低秩近似分解方法或結構化稀疏剪枝方法進行卷積神經網絡壓縮，導致壓縮力度較小的問題，本發明第一方面，提出了一種基于分解和剪枝的卷積神經網絡壓縮方法，該方法包括：

步驟S100，獲取待壓縮的卷積神經網絡，將所述卷積神經網絡中每個待壓縮的卷積層后面添加一層系數矩陣表示層，作為第一網絡；

步驟S200，通過低秩近似分解算法分別對各所述系數矩陣表示層進行稀疏處理，并根據所述系數矩陣表示層稀疏的位置對對應的卷積層的濾波器進行剪枝處理，得到第二網絡；

步驟S300，采用結構化稀疏剪枝方法分別對所述第二網絡的各系數矩陣表示層進行稀疏處理，并根據所述系數矩陣表示層稀疏的位置對所述系數矩陣表示層的濾波器進行剪枝處理，得到第三網絡；

步驟S400，對所述第三網絡進行訓練，將訓練完成的網絡作為壓縮后的卷積神經網絡。

在一些優選的實施方式中，所述系數矩陣表示層為卷積核1×1的卷積層，其輸入和輸出通道數目都與對應的卷積層輸出通道數目相同。

在一些優選的實施方式中，步驟S200中“通過低秩近似分解算法分別對各所述系數矩陣表示層進行稀疏處理”，其方法為：

將各所述系數矩陣表示層的權重參數分別進行張量展開，得到各所述系數矩陣表示層對應的二維矩陣；

基于L₂₁范數對各所述二維矩陣進行正則化，得到正則項；

將各正則項加入到所述卷積神經網絡的損失函數，進行權重參數的更新。