[發(fā)明專利]深度卷積神經(jīng)網(wǎng)絡(luò)的壓縮方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010440475.8
• 申請日: 2020-05-22
• 公開（公告）號: CN111612143A
• 公開（公告）日: 2020-09-01
• 發(fā)明（設(shè)計(jì)）人: 胡衛(wèi)明;劉雨帆;阮曉峰;李兵;李揚(yáng)曦
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種深度卷積神經(jīng)網(wǎng)絡(luò)的壓縮方法，其特征在于，所述壓縮方法包括：

根據(jù)濾波器重要性選擇方式和/或模型壓縮率，確定待壓縮深度卷積神經(jīng)網(wǎng)絡(luò)中不重要的濾波器；

對不重要的濾波器施加漸進(jìn)式稀疏約束，作為正則項(xiàng)加入到網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)中，得到優(yōu)化損失函數(shù)；

根據(jù)正則項(xiàng)，采用閾值迭代算法及反向傳播算法聯(lián)合求解，得到待壓縮深度卷積神經(jīng)網(wǎng)絡(luò)的更新參數(shù)；

基于所述優(yōu)化損失函數(shù)及更新參數(shù)，獲得具有濾波器稀疏形式的卷積神經(jīng)網(wǎng)絡(luò)模型；

利用結(jié)構(gòu)化剪枝算法，對所述具有濾波器稀疏形式的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行剪枝，得到壓縮后的卷積神經(jīng)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的深度卷積神經(jīng)網(wǎng)絡(luò)的壓縮方法，其特征在于，所述根據(jù)濾波器重要性選擇方式和/或模型壓縮率，確定待壓縮深度卷積神經(jīng)網(wǎng)絡(luò)中不重要的濾波器，具體包括：

根據(jù)卷積層濾波器權(quán)值的L₂范數(shù)值，確定待壓縮深度卷積神經(jīng)網(wǎng)絡(luò)中不重要的濾波器。

3.根據(jù)權(quán)利要求2所述的深度卷積神經(jīng)網(wǎng)絡(luò)的壓縮方法，其特征在于，所述根據(jù)卷積層濾波器權(quán)值的L₂范數(shù)值，確定待壓縮深度卷積神經(jīng)網(wǎng)絡(luò)中不重要的濾波器，具體包括：

根據(jù)以下公式，計(jì)算濾波器權(quán)值的L₂范數(shù)值：

其中，表示卷積層l第j個(gè)濾波器L₂范數(shù)值，表示卷積層l第j個(gè)濾波器權(quán)值，||·||₂表示L₂范數(shù)算子；

將卷積層l中所有濾波器L₂范數(shù)值組成一重要性得分向量IS^(l)：

其中，IS^(l)為卷積層l濾波器重要性得分向量，c^(l)為卷積層濾波器數(shù)目；

通過對重要性得分向量進(jìn)行排序，確定重要性得分最小的sr*c^(l)個(gè)濾波器為不重要的濾波器，構(gòu)成不重要性濾波器參數(shù)集Θ^s，其中，sr為卷積層稀疏率。

4.根據(jù)權(quán)利要求1所述的深度卷積神經(jīng)網(wǎng)絡(luò)的壓縮方法，其特征在于，根據(jù)以下公式，得到優(yōu)化損失函數(shù)：

s^(l)＝sr*c^(l)；

其中，Loss表示優(yōu)化損失函數(shù)，表示全部訓(xùn)練數(shù)據(jù)集，x,y為成對訓(xùn)練數(shù)據(jù)，且l(·)表示標(biāo)準(zhǔn)損失函數(shù)，表示網(wǎng)絡(luò)前向函數(shù)，Θ表示待壓縮深度卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)集；Θ^s表示不重要性濾波器的參數(shù)集，表示正則項(xiàng)函數(shù)，L表示卷積神經(jīng)網(wǎng)絡(luò)模型卷積層數(shù)目，W^(l)表示卷積層l中濾波器權(quán)值，表示卷積層l第j個(gè)濾波器權(quán)值，||·||₂表示L₂范數(shù)算子，||·||_2,1表示矩陣的L₂₁范數(shù)算子，S^(l)表示卷積層l被選擇稀疏的濾波器數(shù)目，sr為卷積層稀疏率；λ表示漸進(jìn)式的稀疏懲罰因子，能夠通過階梯式函數(shù)、線性式函數(shù)、指數(shù)式函數(shù)和正弦式函數(shù)中任意一者增長方式確定。

5.根據(jù)權(quán)利要求4所述的深度卷積神經(jīng)網(wǎng)絡(luò)的壓縮方法，其特征在于，通過正弦式函數(shù)增長方式確定漸進(jìn)式的稀疏懲罰因子λ，具體包括：

其中，λ(t)為迭代次數(shù)t時(shí)的懲罰因子，λ_max為懲罰因子的幅值，T為總迭代次數(shù)。