[發明專利]深度卷積神經網絡的壓縮方法及系統

在審

• 申請號: 202010440475.8
• 申請日: 2020-05-22
• 公開（公告）號: CN111612143A
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 胡衛明;劉雨帆;阮曉峰;李兵;李揚曦
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明涉及一種深度卷積神經網絡的壓縮方法及系統，所述壓縮方法包括：根據濾波器重要性選擇方式和/或模型壓縮率，確定待壓縮深度卷積神經網絡中不重要的濾波器；對不重要的濾波器施加漸進式稀疏約束，作為正則項加入到網絡訓練的損失函數中，得到優化損失函數；根據正則項，采用閾值迭代算法及反向傳播算法聯合求解，得到待壓縮深度卷積神經網絡的更新參數；基于所述優化損失函數及更新參數，獲得具有濾波器稀疏形式的卷積神經網絡模型；利用結構化剪枝算法，對所述具有濾波器稀疏形式的卷積神經網絡模型進行剪枝，得到網絡精度較高的壓縮后的卷積神經網絡模型。

技術領域

本發明涉及卷積神經網絡及人工智能技術領域，特別涉及一種深度卷積神經網絡的壓縮方法及系統。

背景技術

隨著深度神經網絡在人工智能領域地不斷發展，比如計算機視覺、語音識別和自然語言處理等，社會各行各業研究人員通過將人工智能相關算法部署到實際產品中，并取得了更加智能化的效果，進而促進了人工智能新一輪研究高潮的到來。

然而，深度神經網絡在實際應用部署時，需要巨大的存儲空間和高額的計算資源消耗，很難應用在一些移動端和嵌入式設備中。因此，深度神經網絡模型壓縮和加速方法已經被學術和工業界重視起來，相關成果也為人工智能技術落地提供了重要保障。

其中，在深度卷積神經網絡模型壓縮和加速方法中，結構化剪枝是一種被廣泛研究的方法，其壓縮獲得的模型可以直接快速部署到現有框架下，不需要特殊的軟硬件庫支持。

但是通常的結構化剪枝方法具有以下缺點：1)在移除冗余時，直接將不重要的連接去掉，導致網絡精度有較大的下降；2)基于稀疏約束的剪枝方法，在整個模型訓練過程中，對所有的連接一直加入固定的懲罰力度，使重要的連接在學習稀疏過程中受到影響，進而導致模型精度下降。

發明內容

為了解決現有技術中的上述問題，即為了在結構化剪枝過程中，保證網絡模型的精度，本發明的目的在于提供一種深度卷積神經網絡的壓縮方法及系統。

為解決上述技術問題，本發明提供了如下方案：

一種深度卷積神經網絡的壓縮方法，所述壓縮方法包括：

根據濾波器重要性選擇方式和/或模型壓縮率，確定待壓縮深度卷積神經網絡中不重要的濾波器；

對不重要的濾波器施加漸進式稀疏約束，作為正則項加入到網絡訓練的損失函數中，得到優化損失函數；

根據正則項，采用閾值迭代算法及反向傳播算法聯合求解，得到待壓縮深度卷積神經網絡的更新參數；

基于所述優化損失函數及更新參數，獲得具有濾波器稀疏形式的卷積神經網絡模型；

利用結構化剪枝算法，對所述具有濾波器稀疏形式的卷積神經網絡模型進行剪枝，得到壓縮后的卷積神經網絡模型。

可選地，所述根據濾波器重要性選擇方式和/或模型壓縮率，確定待壓縮深度卷積神經網絡中不重要的濾波器，具體包括：

根據卷積層濾波器權值的L₂范數值，確定待壓縮深度卷積神經網絡中不重要的濾波器。

可選地，所述根據卷積層濾波器權值的L₂范數值，確定待壓縮深度卷積神經網絡中不重要的濾波器，具體包括：

根據以下公式，計算濾波器權值的L₂范數值：

其中，表示卷積層l第j個濾波器L₂范數值，表示卷積層l第j個濾波器權值，||·||₂表示L₂范數算子；

將卷積層l中所有濾波器L₂范數值組成一重要性得分向量IS^(l)：