[發(fā)明專利]一種基于變分結(jié)構(gòu)優(yōu)化網(wǎng)絡(luò)的通道剪枝方法

有效

• 申請?zhí)枺?/td>: 202011050565.2
• 申請日: 2020-09-29
• 公開（公告）號: CN112215353B
• 公開（公告）日: 2023-09-01
• 發(fā)明（設(shè)計(jì)）人: 劉欣剛;韓碩;孫睿成;宋高宇;曾昕;代成
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/0464
• 代理公司: 電子科技大學(xué)專利中心 51203
• 代理人: 甘茂

1.一種基于變分結(jié)構(gòu)優(yōu)化網(wǎng)絡(luò)的通道剪枝方法，包括以下步驟：

步驟S1：基于原始CNN構(gòu)建變分結(jié)構(gòu)優(yōu)化網(wǎng)絡(luò)；

變分結(jié)構(gòu)優(yōu)化網(wǎng)絡(luò)框架由權(quán)重生成器與剪枝后網(wǎng)絡(luò)(PrunedCNN)連接組成，輸入為通道尺度變量v與圖像分類數(shù)據(jù)集，輸出為預(yù)測的類別概率；

具體包括以下步驟：

S11：為層數(shù)為L的原始CNN設(shè)立通道尺度v＝(v₁,v₂,…,v_L),v_i∈(0,1]，同時，預(yù)設(shè)v₀為圖像通道數(shù)；

S12：構(gòu)建由L個塊組成的權(quán)重生成器，塊與原始CNN中各神經(jīng)網(wǎng)絡(luò)層一一對應(yīng)連接；每一個塊由兩層全連接層網(wǎng)絡(luò)組成，第一層全連接層的輸入節(jié)點(diǎn)數(shù)為2、輸入為通道尺度變量(v_i-1,v_i)，第二層全連接層的輸出節(jié)點(diǎn)數(shù)為對應(yīng)神經(jīng)網(wǎng)絡(luò)層的權(quán)重尺寸積、輸出權(quán)重參數(shù)；將所述權(quán)重參數(shù)變形、剪切得權(quán)重張量w_i，將生成的權(quán)重張量w_i輸入相應(yīng)的神經(jīng)網(wǎng)絡(luò)層中，實(shí)現(xiàn)通道剪枝；具體的講：

對于卷積層而言，設(shè)原始CNN的第i層卷積層權(quán)重張量形狀為其中，分別為第i層卷積層的初始輸入、輸出通道數(shù)，n為濾波器尺寸；則第i層卷積層對應(yīng)連接的塊的輸入為該卷積層的輸入輸出通道尺度(v_i-1,v_i)，塊輸出為形狀為的權(quán)重參數(shù)；將所述權(quán)重參數(shù)變形成形狀為的權(quán)重張量，并進(jìn)一步剪切得形狀為的權(quán)重張量w_i，其中，round(·)為四舍五入操作；

對于全連接層而言，設(shè)原始CNN的第i層全連接層權(quán)重張量形狀為其中，分別為第i層全連接層的初始輸入輸出神經(jīng)元節(jié)點(diǎn)數(shù)，則第i層全連接層對應(yīng)連接的塊的輸入為該全連接層的輸入輸出通道尺度(v_i-1,v_i)，塊輸出為形狀為的權(quán)重參數(shù)；將所述權(quán)重參數(shù)變形成形狀為的權(quán)重張量，并進(jìn)一步剪切得形狀為的權(quán)重張量w_i；

S13：基于的形狀構(gòu)建剪枝后網(wǎng)絡(luò)(PrunedCNN)；

步驟S2：訓(xùn)練變分結(jié)構(gòu)優(yōu)化網(wǎng)絡(luò)；

將通道尺度v作為變分變量，在變分結(jié)構(gòu)優(yōu)化網(wǎng)絡(luò)中進(jìn)行變分推斷，選擇截尾對數(shù)均勻分布與截尾對數(shù)正態(tài)分布為通道尺度v的先驗(yàn)與后驗(yàn)分布，使用隨機(jī)梯度變分貝葉斯(SGVB)方法，利用圖像分類數(shù)據(jù)集計(jì)算變分證據(jù)下界(ELBO)；通過批梯度下降法優(yōu)化得到最優(yōu)權(quán)重生成器參數(shù)g^*與通道尺度后驗(yàn)分布超參數(shù)φ^*；

具體包括以下步驟：

S21：將控制CNN通道數(shù)目的通道尺度v作為變分變量，選擇截尾均勻分布作為先驗(yàn)p，截尾正態(tài)分布作為后驗(yàn)q：

其中，表示截尾上下界為e^a、e^b的分布，a、b為預(yù)設(shè)參數(shù)；μ_i表示通道尺度后驗(yàn)對數(shù)正態(tài)分布的均值，σ_i表示通道尺度后驗(yàn)對數(shù)正態(tài)分布的方差；Z_i＝Φ(α_i)-Φ(β_i)；表示均勻分布，表示對數(shù)正態(tài)分布；

S22：采用隨機(jī)梯度變分貝葉斯(SGVB)方法，以可導(dǎo)函數(shù)v＝f(φ,∈),∈～p(∈)對于隨機(jī)變量進(jìn)行重參數(shù)化：

其中，Φ(·)為高斯累積分布函數(shù)；

S23：將當(dāng)前后驗(yàn)分布下采樣得到的通道尺度v與圖像數(shù)據(jù)輸入變分結(jié)構(gòu)優(yōu)化網(wǎng)絡(luò)，得到預(yù)測的類別概率，進(jìn)而得到Pruned?CNN的輸出推出證據(jù)下界(ELBO)；同時，將權(quán)重生成器中所有塊的全連接層參數(shù)g納入ELBO中，以實(shí)現(xiàn)對于權(quán)重生成器與通道尺度v的后驗(yàn)分布參數(shù)φ的同步優(yōu)化：

其中，M為圖像數(shù)據(jù)的批尺寸，N為圖像數(shù)據(jù)總數(shù)，L_D(φ,g)為對數(shù)似然函數(shù)項(xiàng)，D_KL(q_φ(v)‖p(v))為正則化項(xiàng)；

S24：采用批梯度下降法優(yōu)化權(quán)重生成器參數(shù)g與通道尺度后驗(yàn)分布的超參數(shù)直至網(wǎng)絡(luò)收斂，得到最優(yōu)權(quán)重生成器參數(shù)g^*及最優(yōu)通道尺度后驗(yàn)分布超參數(shù)φ^*；

S25：根據(jù)最優(yōu)通道尺度后驗(yàn)分布超參數(shù)φ^*計(jì)算得到最優(yōu)通道尺度后驗(yàn)分布：

步驟S3：計(jì)算最優(yōu)通道尺度v后驗(yàn)分布的期望作為最優(yōu)通道尺度v^*，將最優(yōu)通道尺度v^*輸入具有參數(shù)g^*的權(quán)重生成器中、生成權(quán)重加載到變分結(jié)構(gòu)優(yōu)化網(wǎng)絡(luò)中，得到最優(yōu)剪枝后網(wǎng)絡(luò)(Optimal?PrunedCNN)。