[發(fā)明專利]一種有效防止卷積神經(jīng)網(wǎng)絡(luò)過擬合的圖像分類方法

有效

• 申請?zhí)枺?/td>: 201410333924.3
• 申請日: 2014-07-14
• 公開（公告）號: CN104102919B
• 公開（公告）日: 2017-05-24
• 發(fā)明（設(shè)計）人: 王瀚漓;俞定君
• 申請（專利權(quán)）人: 同濟大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司31225
• 代理人: 趙繼明

1.一種有效防止卷積神經(jīng)網(wǎng)絡(luò)過擬合的圖像分類方法，其特征在于，該方法運行在GPU中，包括：

步驟一，獲得圖像訓(xùn)練集和圖像測試集；

步驟二，卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，具體包括以下步驟：

a)設(shè)定卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和訓(xùn)練次數(shù)上限N，初始化神經(jīng)網(wǎng)絡(luò)權(quán)值矩陣W，所述結(jié)構(gòu)包括卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)和每層中特征圖的數(shù)量；

b)從所述圖像訓(xùn)練集中獲取圖像數(shù)據(jù)進行預(yù)處理，并進行樣本擴增，形成訓(xùn)練樣本；

c)對所述訓(xùn)練樣本進行前向傳播提取圖像特征，所述前向傳播包括卷積層、非線性歸一化層和混合pooling層的計算；

d)在Softmax分類器中計算各樣本的分類概率：

$y_i=\frac{\exp \left(s_i\right)}{{\mathrm{\Σ}}_{k=1}^n\exp \left(s_k\right)}$

式中，s_i表示Softmax分類器第i個神經(jīng)元的輸出值，s_i＝F·η，F(xiàn)為某個訓(xùn)練樣本的圖像特征向量，η為相應(yīng)的權(quán)值，n為需要分類的類別數(shù)量；

e)根據(jù)概率y_i計算得到訓(xùn)練誤差

${\mathrm{\δ}}_i=\underset{k=1}{\overset{n}{\Σ}}\frac{y_k^{*}}{y_k}{y}_k({\mathrm{\θ}}_{ik}-y_i)$

當(dāng)i＝k時，θ_ik＝1，i表示第i個類別，當(dāng)原始輸入屬于類別i時，

f)利用所述訓(xùn)練誤差從卷積神經(jīng)網(wǎng)絡(luò)的最后一層依次往前反向傳播，同時利用隨機梯度下降法SGD修改網(wǎng)絡(luò)權(quán)值矩陣W；

g)判斷模型訓(xùn)練是否完成，若是，則保存卷積神經(jīng)網(wǎng)絡(luò)模型和Softmax分類器后執(zhí)行步驟三，若否，則返回步驟b)；

步驟三，利用訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型對圖像測試集進行圖像分類。

2.根據(jù)權(quán)利要求1所述的一種有效防止卷積神經(jīng)網(wǎng)絡(luò)過擬合的圖像分類方法，其特征在于，所述步驟二的a)中，初始權(quán)值矩陣W的元素的取值范圍為[-0.01,0.01]。

3.根據(jù)權(quán)利要求1所述的一種有效防止卷積神經(jīng)網(wǎng)絡(luò)過擬合的圖像分類方法，其特征在于，所述步驟二的b)具體為：

b1)對于長寬相等的圖像，利用OPENCV中的cvResize函數(shù)進行縮放，縮放后的圖片大小為N×N；

b2)對長寬不相等的圖像，固定短邊S不變，截取長邊中間的連續(xù)S個像素，形成S×S大小的圖像，再重復(fù)步驟b1)最終形成N×N大小的圖像；

b3)計算所有圖像的像素值之和，并除以圖像的數(shù)量得到一個均值圖像，在每一幅圖像中減去所述均值圖像得到輸入樣本；

b4)對所述輸入樣本進行數(shù)據(jù)擴增，形成最終的訓(xùn)練樣本。