[發明專利]一種基于變分結構優化網絡的通道剪枝方法

有效

• 申請號: 202011050565.2
• 申請日: 2020-09-29
• 公開（公告）號: CN112215353B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 劉欣剛;韓碩;孫睿成;宋高宇;曾昕;代成
• 申請（專利權）人: 電子科技大學
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/0464
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 甘茂

1.一種基于變分結構優化網絡的通道剪枝方法，包括以下步驟：

步驟S1：基于原始CNN構建變分結構優化網絡；

變分結構優化網絡框架由權重生成器與剪枝后網絡(PrunedCNN)連接組成，輸入為通道尺度變量v與圖像分類數據集，輸出為預測的類別概率；

具體包括以下步驟：

S11：為層數為L的原始CNN設立通道尺度v＝(v₁,v₂,…,v_L),v_i∈(0,1]，同時，預設v₀為圖像通道數；

S12：構建由L個塊組成的權重生成器，塊與原始CNN中各神經網絡層一一對應連接；每一個塊由兩層全連接層網絡組成，第一層全連接層的輸入節點數為2、輸入為通道尺度變量(v_i-1,v_i)，第二層全連接層的輸出節點數為對應神經網絡層的權重尺寸積、輸出權重參數；將所述權重參數變形、剪切得權重張量w_i，將生成的權重張量w_i輸入相應的神經網絡層中，實現通道剪枝；具體的講：

對于卷積層而言，設原始CNN的第i層卷積層權重張量形狀為其中，分別為第i層卷積層的初始輸入、輸出通道數，n為濾波器尺寸；則第i層卷積層對應連接的塊的輸入為該卷積層的輸入輸出通道尺度(v_i-1,v_i)，塊輸出為形狀為的權重參數；將所述權重參數變形成形狀為的權重張量，并進一步剪切得形狀為的權重張量w_i，其中，round(·)為四舍五入操作；

對于全連接層而言，設原始CNN的第i層全連接層權重張量形狀為其中，分別為第i層全連接層的初始輸入輸出神經元節點數，則第i層全連接層對應連接的塊的輸入為該全連接層的輸入輸出通道尺度(v_i-1,v_i)，塊輸出為形狀為的權重參數；將所述權重參數變形成形狀為的權重張量，并進一步剪切得形狀為的權重張量w_i；

S13：基于的形狀構建剪枝后網絡(PrunedCNN)；

步驟S2：訓練變分結構優化網絡；

將通道尺度v作為變分變量，在變分結構優化網絡中進行變分推斷，選擇截尾對數均勻分布與截尾對數正態分布為通道尺度v的先驗與后驗分布，使用隨機梯度變分貝葉斯(SGVB)方法，利用圖像分類數據集計算變分證據下界(ELBO)；通過批梯度下降法優化得到最優權重生成器參數g^*與通道尺度后驗分布超參數φ^*；

具體包括以下步驟：

S21：將控制CNN通道數目的通道尺度v作為變分變量，選擇截尾均勻分布作為先驗p，截尾正態分布作為后驗q：

其中，表示截尾上下界為e^a、e^b的分布，a、b為預設參數；μ_i表示通道尺度后驗對數正態分布的均值，σ_i表示通道尺度后驗對數正態分布的方差；Z_i＝Φ(α_i)-Φ(β_i)；表示均勻分布，表示對數正態分布；

S22：采用隨機梯度變分貝葉斯(SGVB)方法，以可導函數v＝f(φ,∈),∈～p(∈)對于隨機變量進行重參數化：

其中，Φ(·)為高斯累積分布函數；

S23：將當前后驗分布下采樣得到的通道尺度v與圖像數據輸入變分結構優化網絡，得到預測的類別概率，進而得到Pruned?CNN的輸出推出證據下界(ELBO)；同時，將權重生成器中所有塊的全連接層參數g納入ELBO中，以實現對于權重生成器與通道尺度v的后驗分布參數φ的同步優化：

其中，M為圖像數據的批尺寸，N為圖像數據總數，L_D(φ,g)為對數似然函數項，D_KL(q_φ(v)‖p(v))為正則化項；

S24：采用批梯度下降法優化權重生成器參數g與通道尺度后驗分布的超參數直至網絡收斂，得到最優權重生成器參數g^*及最優通道尺度后驗分布超參數φ^*；

S25：根據最優通道尺度后驗分布超參數φ^*計算得到最優通道尺度后驗分布：

步驟S3：計算最優通道尺度v后驗分布的期望作為最優通道尺度v^*，將最優通道尺度v^*輸入具有參數g^*的權重生成器中、生成權重加載到變分結構優化網絡中，得到最優剪枝后網絡(Optimal?PrunedCNN)。