[發明專利]一種混合SVM回歸算法的OIN神經網絡訓練方法

有效

• 申請號: 201210594536.1
• 申請日: 2012-12-31
• 公開（公告）號: CN102982373A
• 公開（公告）日: 2013-03-20
• 發明（設計）人: 蔡珣;蔡菲;呂知辛;朱波;馬軍
• 申請（專利權）人: 山東大學
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張勇

1.一種混合SVM回歸算法的OIN神經網絡訓練方法，其特征是，主要包括以下步驟：

Step（1）：初始化部分，對輸入樣本值進行歸一化，產生初始隱含層權值，并計算出隱含層神經元的輸入值，根據隱含層神經元采用的激活函數得到相應的隱含層神經元輸出值；

Step（2）：根據類別數M和原始樣本的類別，利用輸出重定向OR建立各個原始樣本相應的MLP分類訓練的M維理想分類向量；

Step（3）：根據類別數M建立M個SVM回歸分析模型，每個SVM回歸分析模型的輸入向量是Step（1）得到的隱含層神經元輸出值，而每個SVM回歸分析模型的理想輸出值是Step（2）建立的M維理想分類向量的其中一個元素；

Step（4）：SVM回歸訓練：分別對M個SVM回歸分析模型進行訓練，得到M個SVM回歸分析訓練模型；

Step（5）：根據訓練后的SVM回歸分析訓練模型進行SVM回歸預測；

Step（6）：OIN后向傳播部分；將Step（5）的SVM回歸預測結果進行組合得到一個新的分類向量，并通過比較M維理想分類向量，采用OIN后向傳播算法對權值進行調整；

Step（7）：迭代下一次訓練，根據調整后的新的隱含層權值再回到Step（1）中，計算出新的隱含層神經元輸入，繼續Step（2）-（7），直至訓練周期結束或達到理想值時結束；經過反復迭代最終得到一個優化的OIN/SVM混合模型；

在測試階段，將測試樣本輸入到優化后的OIN/SVM混合模型中，就得到預測結果，從而實現對樣本的分類的預測或回歸的預測。

2.如權利要求1所述的一種混合SVM回歸算法的OIN神經網絡訓練方法，其特征是，所述Step（1）分為如下具體步驟：

Step（1.1）：通過使用正態分布隨機函數初始化隱含層權值W_ih，即從第i個到第h個權值；歸一化所有輸入向量為零均值；

Step（1.2）：對每一個輸入樣本計算出其在各個隱含層神經元的輸入值并對這些神經元輸入值進行歸一化處理；

Step（1.3）：根據神經元的激活函數計算出各個隱含層神經元的輸出值。

3.如權利要求2所述的一種混合SVM回歸算法的OIN神經網絡訓練方法，其特征是，所述Step（1.2）神經元的輸入值的計算為

np(k)=Σi=1N+1wih(i,k)xp(i)=(Wih)Txp---(1)]]>

其中，n_p(k)表示第p個樣本的第k個隱含層單元的輸入值；W_ih為連接輸入層和隱含層的隱含層輸入權值向量；x_p是第p個樣本的輸入向量；i代表輸入向量的元素的索引號，k代表隱含層單元的索引號；

所述Step（1.2）中的神經元控制就是將計算得到的n_p(k)控制在[-0.5，0.5]，從而保證了訓練算法的可導性；n_p(k)表示第p個樣本的第k個隱含層單元的輸入值。