[發明專利]基于線性判別分析準則的改進卷積神經網絡性能的方法

有效

• 申請號: 201510566529.4
• 申請日: 2015-09-08
• 公開（公告）號: CN105243398B
• 公開（公告）日: 2018-09-04
• 發明（設計）人: 龔怡宏;石偉偉;王進軍;張世周
• 申請（專利權）人: 西安交通大學
• 主分類號: G06K9/66
• 分類號: G06K9/66;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 閔岳峰

1.基于線性判別分析準則的改進卷積神經網絡性能的方法，其特征在于，包括以下步驟：

1)將待處理圖像集劃分為訓練集、驗證集和測試集；

2)選擇一個卷積神經網絡模型；

3)選定步驟2)中的卷積神經網絡模型的第k層，對選定層的特征做基于線性判別分析準則的正則約束，形成了一個新的卷積神經網絡模型；具體方法如下：

對選定的步驟2)中的卷積神經網絡模型的第k層做基于線性判別分析準則的正則約束，即使得特征的類內距離逐漸變小，類間距離逐漸變大；

線性判別分析準則為其中，Trace(·)表示矩陣的跡，

其中，h_i表示樣本X_i的第k層特征的簡寫，C是類別總數，n_c和π_c分別表示mini-batch中屬于第c類的樣本個數和第c類的下標標號的集合，m_c表示第c類的樣本的第k層特征的平均值，m表示mini-batch的所有樣本的第k層特征的平均值，

對選定層的特征做基于線性判別分析準則的正則約束，形成一個新的卷積神經網絡模型的目標函數為：

其中，為新的卷積神經網絡模型的分類損失函數，為第k層特征的線性判別分析準則，λ為大于零的權重系數，X_i表示原始的輸入數據，即原始圖像；c_i∈{1,2,…,C}是相應的類別標簽，即W表示選定的卷積神經網絡模型的全部參數；

4)按照基于mini-batch的隨機梯度下降方法，利用訓練集來訓練新的卷積神經網絡模型，新的卷積神經網絡模型訓練好之后，利用訓練好的卷積神經網絡模型對待分類圖像測試，完成分類預測。

2.根據權利要求1所述的基于線性判別分析準則的改進卷積神經網絡性能的方法，其特征在于，步驟2)中，設選定的卷積神經網絡模型共有M層，給定一個mini-batch的訓練樣本n為一個mini-batch的大小；X_i表示原始的輸入數據，即原始圖像；c_i∈{1,2,…,C}是相應的類別標簽，C是類別總數，選定的卷積神經網絡模型的目標函數如下：

其中，W＝(W⁽¹⁾,…,W^(M)；b⁽¹⁾,…,b^(M))，即W表示選定的卷積神經網絡模型的全部參數，W^(m)表示選定的卷積神經網絡模型第m層的權重參數，b^(m)表示選定的卷積神經網絡模型第m層的偏置參數，l(W,X_i,c_i)表示樣本X_i的損失函數。

3.根據權利要求2所述的基于線性判別分析準則的改進卷積神經網絡性能的方法，其特征在于，步驟2)中，選定的卷積神經網絡模型的每一層的特征的遞歸表示如下：

Y^(m)＝X^(m-1)*W^(m),X⁽⁰⁾＝X,

X^(m)＝f(Y^(m)+b^(m)),m＝1,2,…,M,

其中，X^(m)表示選定的卷積神經網絡模型第m層的特征，*表示卷積運算，Y^(m)表示選定的卷積神經網絡模型第m層的沒有經過激活函數的響應，f(·)表示非線性激活函數。

4.根據權利要求3所述的基于線性判別分析準則的改進卷積神經網絡性能的方法，其特征在于，步驟3)中，選定步驟2)中的卷積神經網絡模型的高層，即靠近輸出的層。