[發(fā)明專利]基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法、系統(tǒng)、裝置

在審

• 申請?zhí)枺?/td>: 201911029615.6
• 申請日: 2019-10-28
• 公開（公告）號: CN110782019A
• 公開（公告）日: 2020-02-11
• 發(fā)明（設(shè)計）人: 胡衛(wèi)明;劉雨帆;阮曉峰;李兵;原春鋒;潘健
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 11576 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)
• 代理人: 郭文浩;尹文會

1.一種基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，該方法包括以下步驟：

步驟S100，獲取待壓縮的卷積神經(jīng)網(wǎng)絡(luò)，將所述卷積神經(jīng)網(wǎng)絡(luò)中每個待壓縮的卷積層后面添加一層系數(shù)矩陣表示層，作為第一網(wǎng)絡(luò)；

步驟S200，通過低秩近似分解算法分別對各所述系數(shù)矩陣表示層進行稀疏處理，并根據(jù)所述系數(shù)矩陣表示層稀疏的位置對對應(yīng)的卷積層的濾波器進行剪枝處理，得到第二網(wǎng)絡(luò)；

步驟S300，采用結(jié)構(gòu)化稀疏剪枝方法分別對所述第二網(wǎng)絡(luò)的各系數(shù)矩陣表示層進行稀疏處理，并根據(jù)所述系數(shù)矩陣表示層稀疏的位置對所述系數(shù)矩陣表示層的濾波器進行剪枝處理，得到第三網(wǎng)絡(luò)；

步驟S400，對所述第三網(wǎng)絡(luò)進行訓(xùn)練，將訓(xùn)練完成的網(wǎng)絡(luò)作為壓縮后的卷積神經(jīng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，所述系數(shù)矩陣表示層為卷積核1×1的卷積層，其輸入和輸出通道數(shù)目都與對應(yīng)的卷積層輸出通道數(shù)目相同。

3.根據(jù)權(quán)利要求1所述的基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，步驟S200中“通過低秩近似分解算法分別對各所述系數(shù)矩陣表示層進行稀疏處理”，其方法為：

將各所述系數(shù)矩陣表示層的權(quán)重參數(shù)分別進行張量展開，得到各所述系數(shù)矩陣表示層對應(yīng)的二維矩陣；

基于L₂₁范數(shù)對各所述二維矩陣進行正則化，得到正則項；

將各正則項加入到所述卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，進行權(quán)重參數(shù)的更新。

4.根據(jù)權(quán)利要求3所述的基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，“將各正則項加入到所述卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，進行權(quán)重參數(shù)的更新”，其方法為：將各正則項加入到所述卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，通過二次近似算法和迭代閾值收斂算法對權(quán)重參數(shù)進行更新。

5.根據(jù)權(quán)利要求3所述的基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，步驟S200中“根據(jù)所述系數(shù)矩陣表示層稀疏的位置對對應(yīng)的卷積層的濾波器進行剪枝處理”，其方法為：所述系數(shù)矩陣表示層稀疏的位置為基于L₂₁范數(shù)對各所述二維矩陣進行正則化后列L₂范數(shù)為0對應(yīng)的索引值。

6.根據(jù)權(quán)利要求3所述的基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，步驟S300中“采用結(jié)構(gòu)化稀疏剪枝方法分別對所述第二網(wǎng)絡(luò)的各系數(shù)矩陣表示層進行稀疏處理”，其方法為：

將各所述系數(shù)矩陣表示層的權(quán)重參數(shù)張量展開得到的二維矩陣進行轉(zhuǎn)置，得到轉(zhuǎn)置二維矩陣；

基于L₂₁范數(shù)對各所述轉(zhuǎn)置二維矩陣進行正則化，得到正則項；

將各正則項加入到所述卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，進行權(quán)重參數(shù)的更新。

7.根據(jù)權(quán)利要求6所述的基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，步驟S300中“根據(jù)所述系數(shù)矩陣表示層稀疏的位置對所述系數(shù)矩陣表示層的濾波器進行剪枝處理”，其方法為：所述系數(shù)矩陣表示層稀疏的位置為基于L₂₁范數(shù)對各所述轉(zhuǎn)置二維矩陣進行正則化后行L₂范數(shù)為0對應(yīng)的索引值。

8.一種基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮系統(tǒng)，其特征在于，該系統(tǒng)包括獲取添加模塊、低秩近似分解模塊、結(jié)構(gòu)化稀疏模塊、訓(xùn)練輸出模塊；

所述獲取添加模塊，配置為獲取待壓縮的卷積神經(jīng)網(wǎng)絡(luò)，將所述卷積神經(jīng)網(wǎng)絡(luò)中每個待壓縮的卷積層后面添加一層系數(shù)矩陣表示層，作為第一網(wǎng)絡(luò)；

所述低秩近似分解模塊，配置為通過低秩近似分解算法分別對各所述系數(shù)矩陣表示層進行稀疏處理，并根據(jù)所述系數(shù)矩陣表示層稀疏的位置對對應(yīng)的卷積層的濾波器進行剪枝處理，得到第二網(wǎng)絡(luò)；

所述結(jié)構(gòu)化稀疏模塊，配置為采用結(jié)構(gòu)化稀疏剪枝方法分別對所述第二網(wǎng)絡(luò)的各系數(shù)矩陣表示層進行稀疏處理，并根據(jù)所述系數(shù)矩陣表示層稀疏的位置對所述系數(shù)矩陣表示層的濾波器進行剪枝處理，得到第三網(wǎng)絡(luò)；

所述訓(xùn)練輸出模塊，配置為對所述第三網(wǎng)絡(luò)進行訓(xùn)練，將訓(xùn)練完成的網(wǎng)絡(luò)作為壓縮后的卷積神經(jīng)網(wǎng)絡(luò)。