[發(fā)明專利]一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化通道剪枝方法

在審

• 申請?zhí)枺?/td>: 202211246202.5
• 申請日: 2022-10-12
• 公開（公告）號: CN115511058A
• 公開（公告）日: 2022-12-23
• 發(fā)明（設(shè)計(jì)）人: 劉桂雄;廖普
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京天奇智新知識(shí)產(chǎn)權(quán)代理有限公司 11340
• 代理人: 陳新勝

1.一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化通道剪枝方法，其特征在于，所述方法包括：

A單層卷積權(quán)重依次進(jìn)行通道剪枝與SVD分解剪枝，得到剪枝后權(quán)重，并計(jì)算單層卷積的剪枝率；

B以剪枝前單層卷積權(quán)重與剪枝后權(quán)重之間差異計(jì)算剪枝損失函數(shù)；

C通過擬合曲線確定剪枝損失函數(shù)與剪枝率之間的數(shù)學(xué)模型，以數(shù)學(xué)模型的偏導(dǎo)確定為單層卷積的剪枝靈敏度；

D通過損失函數(shù)與剪枝率的數(shù)學(xué)模型，確立最優(yōu)化算法求解每一層卷積權(quán)重最佳剪枝率；

E遍歷每一層卷積權(quán)重最佳剪枝率進(jìn)行馬爾科夫決策過程的卷積權(quán)重剪枝，完成整個(gè)卷積神經(jīng)網(wǎng)絡(luò)的剪枝，最后通過訓(xùn)練恢復(fù)精度。

2.如權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化通道剪枝方法，其特征在于，所述A通道剪枝與SVD分解剪枝流程為：

通道化剪枝將第n層卷積權(quán)重中任意通道內(nèi)全部元素置0，操作計(jì)為PR(Wⁿ,p)，剪枝后卷積權(quán)重為：

SVD分解剪枝對Wⁿ進(jìn)行SVD分解，將四維權(quán)重矩陣Wⁿ轉(zhuǎn)換成二維其中l(wèi)ⁿ＝cⁿkⁿkⁿ；令則有：M^t＝U^tΣ^tV^tT，其中，Σⁿ為斜對角為Mⁿ特征值的主對角矩陣，特征值個(gè)數(shù)rⁿ＝min(mⁿ,lⁿ)，將矩陣Σⁿ中第rⁿ個(gè)特征值進(jìn)行剪枝操作TD(Wⁿ,r)，得矩陣

令為二維矩陣，其特征值個(gè)數(shù)即實(shí)現(xiàn)了Wⁿ低秩處理；最后，再將二維矩陣轉(zhuǎn)換回四維矩陣單次卷積計(jì)算轉(zhuǎn)化為兩次卷積。

3.如權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化通道剪枝方法，其特征在于，所述步驟B中單層卷積的剪枝率計(jì)算為：

剪枝個(gè)通道、個(gè)特征值后剪枝卷積核分別為依據(jù)剪枝后卷積計(jì)算所減少的計(jì)算量，Wⁿ剪枝率PRⁿ定義為：

設(shè)反向傳播梯度下降計(jì)算矩陣為Gⁿ，那么第n層剪枝卷積權(quán)重矩陣Wⁿ與原始權(quán)重Wⁿ之間損失Lⁿ為：

4.如權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化通道剪枝方法，其特征在于，所述C中通過遍歷Wⁿ每一通道剪枝、SVD分解剪枝后壓縮權(quán)重Wⁿ與原始權(quán)重Wⁿ之間損失集合判斷權(quán)重Wⁿ每個(gè)通道、每個(gè)特征值壓縮靈敏度；對損失集合Lⁿ進(jìn)行升序排序，按照通道剪枝、SVD分解剪枝剪枝敏感度順序逐步對Wⁿ進(jìn)行通道剪枝、SVD分解剪枝操作，并記錄每次剪枝操作后歸一化損失對應(yīng)剪枝率PRⁿ；將兩組離散數(shù)據(jù)作為模型擬合數(shù)據(jù)，求得模型參數(shù)。

5.如權(quán)利要求3所述的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化通道剪枝方法，其特征在于，為確定損失Lⁿ與剪枝率PRⁿ的關(guān)系模型，將Lⁿ歸一化處理至區(qū)間[0,1]，二者數(shù)學(xué)模型為其梯度為剪枝靈敏度。

6.如權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化通道剪枝方法，其特征在于，所述步驟D中：

設(shè)網(wǎng)絡(luò)模型每層卷積核FLOPs為Fⁿ，網(wǎng)絡(luò)層數(shù)為N，網(wǎng)絡(luò)模型整體FLOPs為FS＝{F¹,F²,…,Fⁿ,…},那么整體網(wǎng)絡(luò)剪枝率PR下的模型最優(yōu)剪枝應(yīng)滿足：

由則上式轉(zhuǎn)化為：

采用牛頓迭代算法的優(yōu)化函數(shù)為:

在迭代次數(shù)內(nèi)求再反解計(jì)算得每層卷積權(quán)重最佳剪枝率{PR¹,PR²,…PRⁿ,…}。

7.如權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化通道剪枝方法，其特征在于，所述步驟E中：

設(shè)第s步待剪枝通道或特征值位置集合為衰減系數(shù)為γ_LI，則定義第n層卷積權(quán)重、第s步剪枝操作的重要度LI為：

其中，為上一步通道或SVD分解剪枝操作損失；對于待壓縮通道或特征值位置為z，單次通道或SVD分解剪枝壓縮操作f(W,o)，f(W,o)中o表示待剪枝的通道或特征值位置，則及當(dāng)前通道或SVD分解剪枝操作損失為：

在計(jì)算第s步剪枝單元LI后，剪枝該壓縮單元，計(jì)算量為mⁿ+rⁿ；令為剪枝上一步壓縮單元后集合，則重要度表達(dá)為：

參考馬爾科夫決策過程，依據(jù)單次通道或SVD分解剪枝操作后重要度排序，逐步剪枝LI較小的通道或特征值，若剪枝后該層卷積權(quán)重剪枝率小于等于該層最佳剪枝率時(shí)，則完成該層卷積權(quán)重剪枝任務(wù)。