[發(fā)明專利]基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法、系統(tǒng)、裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201911029615.6
• 申請(qǐng)日: 2019-10-28
• 公開（公告）號(hào): CN110782019A
• 公開（公告）日: 2020-02-11
• 發(fā)明（設(shè)計(jì)）人: 胡衛(wèi)明;劉雨帆;阮曉峰;李兵;原春鋒;潘健
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04
• 代理公司: 11576 北京市恒有知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)
• 代理人: 郭文浩;尹文會(huì)

1.一種基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，該方法包括以下步驟：

步驟S100，獲取待壓縮的卷積神經(jīng)網(wǎng)絡(luò)，將所述卷積神經(jīng)網(wǎng)絡(luò)中每個(gè)待壓縮的卷積層后面添加一層系數(shù)矩陣表示層，作為第一網(wǎng)絡(luò)；

步驟S200，通過低秩近似分解算法分別對(duì)各所述系數(shù)矩陣表示層進(jìn)行稀疏處理，并根據(jù)所述系數(shù)矩陣表示層稀疏的位置對(duì)對(duì)應(yīng)的卷積層的濾波器進(jìn)行剪枝處理，得到第二網(wǎng)絡(luò)；

步驟S300，采用結(jié)構(gòu)化稀疏剪枝方法分別對(duì)所述第二網(wǎng)絡(luò)的各系數(shù)矩陣表示層進(jìn)行稀疏處理，并根據(jù)所述系數(shù)矩陣表示層稀疏的位置對(duì)所述系數(shù)矩陣表示層的濾波器進(jìn)行剪枝處理，得到第三網(wǎng)絡(luò)；

步驟S400，對(duì)所述第三網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將訓(xùn)練完成的網(wǎng)絡(luò)作為壓縮后的卷積神經(jīng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，所述系數(shù)矩陣表示層為卷積核1×1的卷積層，其輸入和輸出通道數(shù)目都與對(duì)應(yīng)的卷積層輸出通道數(shù)目相同。

3.根據(jù)權(quán)利要求1所述的基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，步驟S200中“通過低秩近似分解算法分別對(duì)各所述系數(shù)矩陣表示層進(jìn)行稀疏處理”，其方法為：

將各所述系數(shù)矩陣表示層的權(quán)重參數(shù)分別進(jìn)行張量展開，得到各所述系數(shù)矩陣表示層對(duì)應(yīng)的二維矩陣；

基于L₂₁范數(shù)對(duì)各所述二維矩陣進(jìn)行正則化，得到正則項(xiàng)；

將各正則項(xiàng)加入到所述卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，進(jìn)行權(quán)重參數(shù)的更新。

4.根據(jù)權(quán)利要求3所述的基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，“將各正則項(xiàng)加入到所述卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，進(jìn)行權(quán)重參數(shù)的更新”，其方法為：將各正則項(xiàng)加入到所述卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，通過二次近似算法和迭代閾值收斂算法對(duì)權(quán)重參數(shù)進(jìn)行更新。

5.根據(jù)權(quán)利要求3所述的基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，步驟S200中“根據(jù)所述系數(shù)矩陣表示層稀疏的位置對(duì)對(duì)應(yīng)的卷積層的濾波器進(jìn)行剪枝處理”，其方法為：所述系數(shù)矩陣表示層稀疏的位置為基于L₂₁范數(shù)對(duì)各所述二維矩陣進(jìn)行正則化后列L₂范數(shù)為0對(duì)應(yīng)的索引值。

6.根據(jù)權(quán)利要求3所述的基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，步驟S300中“采用結(jié)構(gòu)化稀疏剪枝方法分別對(duì)所述第二網(wǎng)絡(luò)的各系數(shù)矩陣表示層進(jìn)行稀疏處理”，其方法為：

將各所述系數(shù)矩陣表示層的權(quán)重參數(shù)張量展開得到的二維矩陣進(jìn)行轉(zhuǎn)置，得到轉(zhuǎn)置二維矩陣；

基于L₂₁范數(shù)對(duì)各所述轉(zhuǎn)置二維矩陣進(jìn)行正則化，得到正則項(xiàng)；

將各正則項(xiàng)加入到所述卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，進(jìn)行權(quán)重參數(shù)的更新。

7.根據(jù)權(quán)利要求6所述的基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，步驟S300中“根據(jù)所述系數(shù)矩陣表示層稀疏的位置對(duì)所述系數(shù)矩陣表示層的濾波器進(jìn)行剪枝處理”，其方法為：所述系數(shù)矩陣表示層稀疏的位置為基于L₂₁范數(shù)對(duì)各所述轉(zhuǎn)置二維矩陣進(jìn)行正則化后行L₂范數(shù)為0對(duì)應(yīng)的索引值。

8.一種基于分解和剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮系統(tǒng)，其特征在于，該系統(tǒng)包括獲取添加模塊、低秩近似分解模塊、結(jié)構(gòu)化稀疏模塊、訓(xùn)練輸出模塊；

所述獲取添加模塊，配置為獲取待壓縮的卷積神經(jīng)網(wǎng)絡(luò)，將所述卷積神經(jīng)網(wǎng)絡(luò)中每個(gè)待壓縮的卷積層后面添加一層系數(shù)矩陣表示層，作為第一網(wǎng)絡(luò)；

所述低秩近似分解模塊，配置為通過低秩近似分解算法分別對(duì)各所述系數(shù)矩陣表示層進(jìn)行稀疏處理，并根據(jù)所述系數(shù)矩陣表示層稀疏的位置對(duì)對(duì)應(yīng)的卷積層的濾波器進(jìn)行剪枝處理，得到第二網(wǎng)絡(luò)；

所述結(jié)構(gòu)化稀疏模塊，配置為采用結(jié)構(gòu)化稀疏剪枝方法分別對(duì)所述第二網(wǎng)絡(luò)的各系數(shù)矩陣表示層進(jìn)行稀疏處理，并根據(jù)所述系數(shù)矩陣表示層稀疏的位置對(duì)所述系數(shù)矩陣表示層的濾波器進(jìn)行剪枝處理，得到第三網(wǎng)絡(luò)；

所述訓(xùn)練輸出模塊，配置為對(duì)所述第三網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將訓(xùn)練完成的網(wǎng)絡(luò)作為壓縮后的卷積神經(jīng)網(wǎng)絡(luò)。