[發明專利]基于結構優化稀疏卷積神經網絡的圖像分類方法及介質

在審

• 申請號: 201911197205.2
• 申請日: 2019-11-29
• 公開（公告）號: CN110929798A
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 唐賢倫;徐瑾;李潔;代宇艷;陳瑛潔;余新弦;孔德松
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅;陳棟梁

1.一種基于結構優化稀疏卷積神經網絡的圖像分類方法，其特征在于，包括以下步驟：

步驟1：獲取圖像的訓練集樣本，并以圖像訓練集樣本作為輸入，預訓練一個卷積神經網絡，以最小化預測值與真實標簽之間的損失函數為優化目標，并保存卷積神經網絡的預訓練權重；

步驟2：根據預訓練模型中的卷積層通道連接結構進行二進制編碼，隨機生成若干個二進制序列作為初始種群，對應若干個隨機的通道連接結構；

步驟3：對當前種群中每個編碼序列對應的一種通道連接結構應用到預訓練模型中，并分別計算每種連接結構的適應度，可重復的選擇若干個二進制編碼序列，適應度越大的編碼序列，被選擇的概率越大；

步驟4：對步驟3中選擇出來的二進制編碼序列進行交叉和變異的操作，獲得新一代種群，交叉概率和變異概率為可調節參數；

步驟5：重復步驟3-4，直至當前迭代次數等于總迭代次數，則迭代結束；

步驟6：選取最后一代種群中適應度最大的編碼序列，將其解碼為對應的通道連接結構，使用此通道連接結構，并加載預訓練模型的權重作為初始權重，進行權重微調，恢復模型的分類準確率；接著將測試集輸入到權重微調后的模型中，對測試集圖像進行分類。

2.根據權利要求1所述的基于結構優化稀疏卷積神經網絡的圖像分類方法，其特征在于，所述步驟1：以最小化預測值與真實標簽之間的損失函數為優化目標，以訓練集樣本作為輸入，預訓練一個卷積神經網絡，并保存模型預訓練權重，具體為：搭建一個卷積神經網絡，使用待學習的圖像訓練集進行訓練，直至模型收斂，以最小化損失函數為目標，使用Adam適應性矩估計優化算法來更新模型的權重，Adam算法具體為：

(1)初始化網絡參數θ、一階矩變量s＝0和二階矩變量r＝0、初始時間步t＝0；

(2)從訓練集中取出包含m個樣本的小批量{x⁽¹⁾,...,x^(m)}，每個樣本對應的標簽值為{y⁽¹⁾,...,y^(m)}；

(3)計算梯度t←t+1，L、f分別表示損失函數和模型從輸入到輸出的映射；

(4)更新有偏一階矩估計和有偏二階矩估計，ρ₁和ρ₂為指數衰減速率，其值在[0,1)區間：

s←ρ₁s+(1-ρ₁)g；

r←ρ₂r+(1-ρ₂)g⊙g；

s、r分別表示有偏一階矩估計和有偏二階矩估計；

(5)修正一階矩和二階矩的偏差：

分別表示修正偏差之后一階矩估計和二階矩估計；

(6)計算更新：其中ε表示學習率，σ為用于數值穩定的小常數，通常為10^-8；

(7)應用更新：θ←θ+Δθ；

(8)重復(2)-(7)直到t到達權重更新迭代次數；

使用交叉熵函數作為損失函數，具體表達式為：

交叉熵表示真實標簽p與預測標簽q之間的差異程度，其中x表示輸入樣本，H(p,q)表示預測分布與真實分布之間的交叉熵，p(x)表示輸入樣本標簽的真實分布，q(x)表示模型對輸入樣本標簽的預測分布。

3.根據權利要求2所述的基于結構優化稀疏卷積神經網絡的圖像分類方法，其特征在于，所述步驟2具體為：

隨機生成p個二進制序列，每個序列的長度為d，表示如下：

其中，p為種群容量，第n個編碼序列s_n表示為：

s_n＝[i₁,i₂,...,i_m,...,i_d]_1×d 1≤m≤d

其中，d為每個個體的基因數量，表示步驟1預訓練卷積模型中除輸入層以外的所有卷積層對輸入特征通道的連接數，其中第m個元素i_m的值為1，表示對應位置的連接保留，值為0則表示刪除該位置連接。