[發明專利]一種有效防止卷積神經網絡過擬合的圖像分類方法

有效

• 申請號: 201410333924.3
• 申請日: 2014-07-14
• 公開（公告）號: CN104102919B
• 公開（公告）日: 2017-05-24
• 發明（設計）人: 王瀚漓;俞定君
• 申請（專利權）人: 同濟大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 上海科盛知識產權代理有限公司31225
• 代理人: 趙繼明

技術領域

本發明涉及圖像處理領域，尤其是涉及一種有效防止卷積神經網絡過擬合的圖像分類方法。

背景技術

隨著多媒體技術與計算機網絡的廣泛應用，網絡上出現大量圖像數據。為了能夠有效的管理這些圖像文件，為用戶提供更好的體驗服務，自動識別這些圖像的內容變的越來越重要。

隨機機器學習方法的不斷完善和發展，深度學習算法越來越受到重視，其中卷積神經網絡就是深度學習中一種重要的算法，目前已成為語音分析和圖像識別領域的研究熱點。卷積神經打破了傳統神經網絡中層與層之間的神經元全連接的方式，它的權值共享網絡結構使之更類似于生物神經網絡，降低了網絡模型的復雜度，減少了權值的數量。該優點在網絡的輸入是圖像是表現的更為明顯，使圖像可以直接作為網絡的輸入，避免了傳統識別算法中復雜的特征提取和數據重建過程。卷積網絡是為識別二維形狀而特殊設計的一個多層感知器，這種網絡結構對平移、比例縮放、傾斜或者其他形式的形變具有高度不變性。

基于卷積神經網絡的圖像分類技術能夠有效地自動的從圖像中提取特征信息，提取的特征具有非常好的圖像表達能力，因此該技術在一些圖像分類問題中取得了令人滿意的實驗結果。盡管如此，該技術目前還存在以下缺陷：

第一，由于圖像數據庫中帶標簽的數據是有限的，隨著卷積神經網絡的規模不斷增大，需要訓練的權值也會不斷增加，這勢必使得神經網絡出現過擬合現象，即訓練時的分類精度遠遠好于測試時的分類精度。

第二，為了獲取更好的特征表達能力以便取得更好的分類精度，某些研究人員采用增加網絡深度、擴大網絡規模的方法。但是，這種方法將極大的增加計算復雜度，傳統的CPU運算速度已經不能滿足這樣的計算復雜度。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種分類精度高、收斂速度快、計算效率高的有效防止卷積神經網絡過擬合的圖像分類方法。

本發明的目的可以通過以下技術方案來實現：

一種有效防止卷積神經網絡過擬合的圖像分類方法，該方法運行在GPU中，包括：

步驟一，獲得圖像訓練集和圖像測試集；

步驟二，卷積神經網絡模型的訓練，具體包括以下步驟：

a)設定卷積神經網絡的結構和訓練次數上限N，初始化神經網絡權值矩陣W，所述結構包括卷積神經網絡的層數和每層中特征圖的數量；

b)從所述圖像訓練集中獲取圖像數據進行預處理，并進行樣本擴增，形成訓練樣本；

c)對所述訓練樣本進行前向傳播提取圖像特征，所述前向傳播包括卷積層、非線性歸一化層和混合pooling層的計算；

d)在Softmax分類器中計算各樣本的分類概率：

式中，s_i表示Softmax分類器第i個神經元的輸出值，s_i＝F·η，F為某個訓練樣本的圖像特征向量，η為相應的權值，n為需要分類的類別數量；

e)根據概率y_i計算得到訓練誤差

當i＝k時，θ_ik＝1，i表示第i個類別，當原始輸入屬于類別i時，

f)利用所述訓練誤差從卷積神經網絡的最后一層依次往前反向傳播，同時利用隨機梯度下降法SGD修改網絡權值矩陣W；

g)判斷模型訓練是否完成，若是，則保存卷積神經網絡模型和Softmax分類器后執行步驟三，若否，則返回步驟b)；

步驟三，利用訓練后的卷積神經網絡模型對圖像測試集進行圖像分類。

所述步驟二的a)中，初始權值矩陣W的元素的取值范圍為[-0.01,0.01]。

所述步驟二的b)具體為：

b1)對于長寬相等的圖像，利用OPENCV中的cvResize函數進行縮放，縮放后的圖片大小為N×N；

b2)對長寬不相等的圖像，固定短邊S不變，截取長邊中間的連續S個像素，形成S×S大小的圖像，再重復步驟b1)最終形成N×N大小的圖像；

b3)計算所有圖像的像素值之和，并除以圖像的數量得到一個均值圖像，在每一幅圖像中減去所述均值圖像得到輸入樣本；

b4)對所述輸入樣本進行數據擴增，形成最終的訓練樣本。

步驟二的c)中，所述卷積層的計算具體為：

y_k＝max{w_k*x,0}