[發(fā)明專利]一種面向輕量級(jí)神經(jīng)網(wǎng)絡(luò)的模型優(yōu)化和壓縮方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010637629.2
• 申請(qǐng)日: 2020-07-05
• 公開（公告）號(hào): CN112016670A
• 公開（公告）日: 2020-12-01
• 發(fā)明（設(shè)計(jì)）人: 徐增敏;趙汝文;陳凱;丁勇;唐梅軍;劉建偉;蒙儒省;羅勁鋒
• 申請(qǐng)（專利權(quán)）人: 桂林電子科技大學(xué);桂林安維科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 桂林文必達(dá)專利代理事務(wù)所(特殊普通合伙) 45134
• 代理人: 張學(xué)平

1.一種面向輕量級(jí)神經(jīng)網(wǎng)絡(luò)的模型優(yōu)化和壓縮方法，其特征在于，包括：

利用改進(jìn)參數(shù)對(duì)ReLU函數(shù)進(jìn)行改進(jìn)，并對(duì)所述改進(jìn)參數(shù)進(jìn)行訓(xùn)練更新；

將改進(jìn)的自門控函數(shù)與改進(jìn)后的所述ReLU函數(shù)進(jìn)行融合，得到融合激活函數(shù)；

根據(jù)獲取的剔除閾值對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮。

2.如權(quán)利要求1所述的面向輕量級(jí)神經(jīng)網(wǎng)絡(luò)的模型優(yōu)化和壓縮方法，其特征在于，利用改進(jìn)參數(shù)對(duì)ReLU函數(shù)進(jìn)行改進(jìn)，并對(duì)所述改進(jìn)參數(shù)進(jìn)行訓(xùn)練更新，包括：

根據(jù)獲取的原始ReLU函數(shù)，對(duì)所述原始ReLU函數(shù)中自變量小于零的對(duì)應(yīng)的表達(dá)式中加入改進(jìn)參數(shù)，同時(shí)擴(kuò)大所述自變量范圍至小于或等于零，并利用鏈?zhǔn)椒▌t對(duì)所述訓(xùn)練參數(shù)進(jìn)行更新。

3.如權(quán)利要求1所述的面向輕量級(jí)神經(jīng)網(wǎng)絡(luò)的模型優(yōu)化和壓縮方法，其特征在于，利用改進(jìn)參數(shù)對(duì)ReLU函數(shù)進(jìn)行改進(jìn)，并對(duì)所述改進(jìn)參數(shù)進(jìn)行訓(xùn)練更新，還包括：

根據(jù)鏈?zhǔn)椒▌t計(jì)算出改進(jìn)后的ReLU函數(shù)對(duì)應(yīng)的梯度表達(dá)式，結(jié)合對(duì)應(yīng)的權(quán)值共享變量，得到所述訓(xùn)練參數(shù)的梯度表達(dá)式，并結(jié)合動(dòng)量法對(duì)所述訓(xùn)練參數(shù)進(jìn)行更新。

4.如權(quán)利要求3所述的面向輕量級(jí)神經(jīng)網(wǎng)絡(luò)的模型優(yōu)化和壓縮方法，其特征在于，將改進(jìn)的自門控函數(shù)與改進(jìn)后的所述ReLU函數(shù)進(jìn)行融合，得到融合激活函數(shù)，包括：

利用ReLU6函數(shù)將自門控函數(shù)中的Sigmoid函數(shù)進(jìn)行替換，并與改進(jìn)后的ReLU函數(shù)進(jìn)行融合，將自變量大于零的表達(dá)式采用改進(jìn)的ReLU函數(shù)，自變量小于或等于零的表達(dá)式采用改進(jìn)后的自門控函數(shù)，得到融合激活函數(shù)。

5.如權(quán)利要求4所述的面向輕量級(jí)神經(jīng)網(wǎng)絡(luò)的模型優(yōu)化和壓縮方法，其特征在于，根據(jù)獲取的剔除閾值對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮，包括：

對(duì)獲取的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并記錄原始訓(xùn)練參數(shù)，同時(shí)根據(jù)獲取的剔除閾值，自下而上的刪除所述卷積神經(jīng)網(wǎng)絡(luò)模型中對(duì)應(yīng)的卷積核數(shù)量。

6.如權(quán)利要求5所述的面向輕量級(jí)神經(jīng)網(wǎng)絡(luò)的模型優(yōu)化和壓縮方法，其特征在于，根據(jù)獲取的剔除閾值對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮，還包括：

將刪除對(duì)應(yīng)數(shù)量的所述卷積核后的所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并將得到的對(duì)應(yīng)的訓(xùn)練參數(shù)與所述原始訓(xùn)練參數(shù)進(jìn)行參數(shù)減少量對(duì)比，直至模型精度與參數(shù)量平衡。