[發明專利]基于線性判別分析準則的改進卷積神經網絡性能的方法

有效

• 申請號: 201510566529.4
• 申請日: 2015-09-08
• 公開（公告）號: CN105243398B
• 公開（公告）日: 2018-09-04
• 發明（設計）人: 龔怡宏;石偉偉;王進軍;張世周
• 申請（專利權）人: 西安交通大學
• 主分類號: G06K9/66
• 分類號: G06K9/66;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 閔岳峰

本發明公開了一種基于線性判別分析準則的改進卷積神經網絡性能的方法，屬于深度學習卷積神經網絡領域、腦認知領域和計算機視覺圖像分類領域，包括以下步驟：1)將待處理圖像集劃分為訓練集、驗證集和測試集；2)選擇一個卷積神經網絡模型；3)選定步驟2)中的卷積神經網絡模型的一個層，對選定層的特征做基于線性判別分析準則的正則約束，形成了一個新的卷積神經網絡模型；4)按照基于mini?batch的隨機梯度下降方法，利用訓練集來訓練新的卷積神經網絡模型，新的卷積神經網絡模型訓練好之后，利用訓練好的卷積神經網絡模型對待分類圖像測試，完成分類預測。實驗結果表明：本發明能夠顯著地提高卷積神經網絡圖像分類的精度。

技術領域：

本發明涉及深度學習卷積神經網絡領域、腦認知領域和計算機視覺圖像分類領域，具體涉及改進卷積神經網絡性能的方法，提高卷積神經網絡圖像分類性能的方法。

背景技術：

當前深度卷積神經網絡，已經廣泛應用到計算機視覺的各個領域，例如，圖像分類、目標檢測和定位以及圖像檢索等等。一直以來，提高卷積網絡圖像分類性能的方法可以大致分為兩種：一種是增加網絡結構的規模，即增加網絡的層數和每一層的節點的數目；另一種是使用更大規模的訓練集。

增加網絡結構的規模將會大大增加計算量，給硬件計算設備帶來很大的計算負擔。現實中，計算資源也是有限的，連續增加兩個相鄰的卷基層特征圖的個數，會導致相應計算量呈平方規模的增加。而且網絡規模增大到一定定程度的時候，其性能會逐漸趨于飽和。同時，由于網絡規模越大，要通過訓練學習的參數就越多，過多的模型參數容易導致過擬合，(所謂過擬合，就是在訓練集上分類錯誤率較低，而在測試集上的分類錯誤率較高)。

構建大規模的訓練標注數據集也是一件很困難的事情，不見耗費大量的時間、人力和財力，而且構建高質量的數據集往往還需要相關的專業知識。最近的一些實驗還表明，卷積神經網絡的性能隨著訓練集增大也逐漸趨于飽和，也就是說，當訓練集到一定規模時候，再增加訓練集，網絡性能的提升微乎其微，提升的幅度已經很小。鑒于以上兩種情況，最近一些學者也試圖對卷積神經網絡的結構做了一些小的修改，但這些小的技巧都是基于實驗驅動的，是通過大量的實驗總結出來的一些技巧，缺乏理論的分析和支持，當然也很難系統地提升網絡性能。

發明內容：

本發明的目的在于針對現有技術的不足，提供了一種基于線性判別分析準則的改進卷積神經網絡性能的訓練方法。

為了達到上述目的，本發明采用如下技術方案予以實現的：

基于線性判別分析準則的改進卷積神經網絡性能的方法，包括以下步驟：

1)將待處理圖像集劃分為訓練集、驗證集和測試集；

2)選擇一個卷積神經網絡模型；

3)選定步驟2)中的卷積神經網絡模型的第k層，對選定層的特征做基于線性判別分析準則的正則約束，形成了一個新的卷積神經網絡模型；

4)按照基于mini-batch的隨機梯度下降方法，利用訓練集來訓練新的卷積神經網絡模型，新的卷積神經網絡模型訓練好之后，利用訓練好的卷積神經網絡模型對待分類圖像測試，完成分類預測。

本發明進一步的改進在于，步驟2)中，設選定的卷積神經網絡模型共有M層，給定一個mini-batch的訓練樣本n為一個mini-batch的大?。籜_i表示原始的輸入數據，即原始圖像；c_i∈{1,2,…,C}是相應的類別標簽，C是類別總數，選定的卷積神經網絡模型的目標函數如下：