[發明專利]基于稀疏卷積神經網絡的模型壓縮方法、系統及相關設備

在審

• 申請號: 202011065618.8
• 申請日: 2020-09-30
• 公開（公告）號: CN112183748A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 朱鳳華;韋越;陳世超;陳圓圓;呂宜生;熊剛;葉佩軍;王飛躍
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于稀疏卷積神經網絡的模型壓縮方法，其特征在于，所述方法包括：

通過對模型進行稀疏正則化訓練，得到待壓縮模型；

根據所述待壓縮模型各卷積層與BN層的參數，計算各濾波器的重要性評分；

根據所述重要性評分以及預設的剪枝率設定重要性閾值；

將所述重要性評分低于所述重要性閾值的濾波器，以及該濾波器對應的BN層參數一并剪除，獲得剪枝后的模型。

2.根據權利要求1所述的基于稀疏卷積神經網絡的模型壓縮方法，其特征在于，“通過對模型進行稀疏正則化訓練，得到待壓縮模型”的步驟包括：

通過下式在損失函數中添加懲罰因子：

L′＝L+λR(X)

其中，L′是添加懲罰因子的損失函數，L是原損失函數，λR(X)為添加的懲罰因子，λ是正則化系數，R(·)表示正則化范數，X表示卷積核的權重或BN層的縮放系數α，對于卷積核W＝{w₁，w₂，...，w_m}，m為卷積核W中權重參數w的數目；對于縮放系數α，R(α)＝|α|。

3.根據權利要求2所述的基于稀疏卷積神經網絡的模型壓縮方法，其特征在于，對所述模型進行稀疏正則化訓練時，在向后傳播過程中通過下式對上一層權重X對應的輸出梯度g_X作為輸入梯度進行稀疏正則化處理：

g′_X＝g_X+λsign(X)

其中，g′_X是稀疏化處理后梯度，λ是正則化系數，sign(·)是符號函數，對梯度g_X對應的權重X的符號進行判斷，在X＜0，X＝0，X0時分別取-1，0，1；

所述上一層為卷積層或BN層，所述梯度為卷積層中各濾波器中卷積核權重的梯度或BN層中各縮放系數的梯度。

4.根據權利要求1所述的基于稀疏卷積神經網絡的模型壓縮方法，其特征在于，“根據所述待壓縮模型各卷積層與BN層的參數，計算各濾波器的重要性評分”的步驟包括：

按照下式的方法對第n個濾波器的權重進行絕對值求和：

其中，E_n為第n個濾波器權重絕對值的和，L表示第n個濾波器中的卷積核的數目，表示第n個濾波器中的第l個卷積核的權重，表示求的L1范數，n＝1，2，...，N，N為所述待壓縮模型中濾波器的總個數；

根據第n個濾波器權重絕對值之和，以及對應的BN層的縮放系數，按照下式的方法計算第n個濾波器的重要性評分：

s_n＝α_n×E_n

其中，s_n為第n個濾波器的重要性評分，α_n為第n個濾波器對應的BN層的縮放系數。

5.根據權利要求4所述的基于稀疏卷積神經網絡的模型壓縮方法，其特征在于，“根據所述重要性評分以及預設的剪枝率設定重要性閾值”的步驟包括：

按照下式的方法設定重要性閾值：

θ＝sort_p(S)

其中，θ為所述重要性閾值，S為第1～N個濾波器重要性評分的集合，s＝{s₁，s₂，...，s_N}，sort_p(·)表示將對象按升序排序，并選取接近或等于p位置的數輸出，p為所述預設的剪枝率。

6.根據權利要求1-5中任一項所述的基于稀疏卷積神經網絡的模型壓縮方法，其特征在于，所述方法還包括：

對所述剪枝后的模型進行微調，保證模型精度不低于預設的精度。

7.根據權利要求6所述的基于稀疏卷積神經網絡的模型壓縮方法，其特征在于，“對所述剪枝后的模型進行微調，保證模型精度不低于預設的精度”的步驟包括：

判斷所述剪枝后的模型精度是否低于預設的精度；

若是，按預設的幅度下調剪枝率，并重新進行模型剪枝，直到模型精度大于或等于所述預設的精度；

若否，則輸出所述剪枝后的模型。