[發(fā)明專利]一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法

有效

• 申請?zhí)枺?/td>: 201210594536.1
• 申請日: 2012-12-31
• 公開（公告）號: CN102982373A
• 公開（公告）日: 2013-03-20
• 發(fā)明（設(shè)計）人: 蔡珣;蔡菲;呂知辛;朱波;馬軍
• 申請（專利權(quán)）人: 山東大學(xué)
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張勇

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)分析方法，尤其涉及一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)（ANN，Artificial?Neural?Network）是一種優(yōu)化的機(jī)器學(xué)習(xí)方法，并被廣泛應(yīng)用到各種數(shù)據(jù)分析領(lǐng)域中，來替代或補充基于多項式的回歸分析和分類。現(xiàn)有的神經(jīng)網(wǎng)絡(luò)應(yīng)用只能限定在含有少量設(shè)計參數(shù)的簡單設(shè)計中，其用于建模的所需數(shù)據(jù)集規(guī)模應(yīng)隨設(shè)計參數(shù)的數(shù)量呈幾何或指數(shù)級增加，因此，一個神經(jīng)元分析需要具有大量充分的密度分布和實驗數(shù)據(jù)，而另一方面，計算成本也相應(yīng)增加，而在設(shè)計空間中的大量數(shù)據(jù)的低效利用也可能導(dǎo)致計算成本的過度浪費。

利用人工神經(jīng)網(wǎng)絡(luò)ANN來分析一個物理對象，優(yōu)化在特定物理環(huán)境對象的反應(yīng)，是非常常見的方法。人工神經(jīng)網(wǎng)絡(luò)ANN適合于多維數(shù)據(jù)的插補并提供合理的數(shù)學(xué)模型，即對現(xiàn)實的物理對象用復(fù)雜和精確的一系列數(shù)值解進(jìn)行表達(dá)和優(yōu)化。人工神經(jīng)網(wǎng)絡(luò)ANN尤其適合于需要滿足多個設(shè)計條件的情況。

在人工神經(jīng)網(wǎng)絡(luò)ANN中，一個前向感知機(jī)人工神經(jīng)網(wǎng)絡(luò)（MLP?ANN，Multilayer?Perceptron?Artificial?Neural?Network）是一種非線性估計技術(shù)。使用MLP?ANN的困難來自于需要對連接權(quán)值進(jìn)行非線性優(yōu)化。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)增大時，訓(xùn)練過程的成本可能非常高。因此，MLP?ANN只適合小網(wǎng)絡(luò)，且MLP?ANN的優(yōu)化主要是Newton法，這種算法的缺點是得到的優(yōu)化都是局部的，無法實現(xiàn)全局優(yōu)化。另外，某種程度上，MLP?ANN采用Sigmoidal函數(shù)作為激活函數(shù)，這種函數(shù)在很多數(shù)據(jù)建模中不一定是最合適的基函數(shù)。

為了減少底層函數(shù)和激活函數(shù)間的差異性，一些神經(jīng)網(wǎng)絡(luò)，例如RBF神經(jīng)網(wǎng)絡(luò)，提供了一個從輸入空間到特征空間的非線性轉(zhuǎn)化。這個高維的特征空間可以通過包含特征空間坐標(biāo)的kernel函數(shù)得到。從單變量輸入空間到輸出空間的全部映射就是特征空間的一個超平面。例如，對于一個需要具有線性項和二次項的輸出空間，輸入空間變量可以通過內(nèi)積的kernel函數(shù)模型來得到。這種方法需要具有特征空間中輸入和輸出間的函數(shù)關(guān)系的先驗知識。

為了解決人工神經(jīng)網(wǎng)絡(luò)ANN的局部最優(yōu)問題，一種常見的方法是采用支持向量機(jī)SVM的方法。SVM法原本應(yīng)用于統(tǒng)計學(xué)習(xí)理論，現(xiàn)在已經(jīng)被開發(fā)和應(yīng)用到各種分類和回歸問題中。SVM可以很好得解決稀疏訓(xùn)練數(shù)據(jù)集的問題，并且利用高維特征空間來解決非線性分類。另一個SVM的好處是目標(biāo)函數(shù)是凸包的，所以SVM得到的局部最優(yōu)解通常也是全局最優(yōu)解。這一點是多數(shù)神經(jīng)網(wǎng)絡(luò)所不具備的。然而，傳統(tǒng)SVM方法對特征空間，即kernel函數(shù)（如多項式、Gaussian等）的選擇也必須具有先驗知識并預(yù)定義出來，而且當(dāng)訓(xùn)練數(shù)據(jù)集過大時，需要計算成本來劃分子集以實現(xiàn)模型的可用性。

現(xiàn)有一種將ANN分析和SVM分析相結(jié)合的混合機(jī)制，可以滿足上述所有的需要。通過這種機(jī)制，學(xué)習(xí)過程不僅不需要提供對非線性函數(shù)的先驗知識來實現(xiàn)非線性分析，而且利用了SVM實現(xiàn)全局最優(yōu)的特點。但是根據(jù)該機(jī)制描述的輸出是由SVM分類算法直接得到的一個布爾型的類別值，而布爾值在很難應(yīng)用到神經(jīng)網(wǎng)絡(luò)的后向傳播過程中；因此，該機(jī)制并沒有具體指出ANN-SVM是如何進(jìn)行訓(xùn)練并如何實現(xiàn)權(quán)值修正。

本發(fā)明適用于解決數(shù)據(jù)分析方面的相關(guān)問題，例如，圖像分割中的顏色恒常性問題，即在不同光照影響下的圖像分割問題，現(xiàn)有的圖像分割沒有利用學(xué)習(xí)算法，僅僅利用顏色空間的轉(zhuǎn)換，在復(fù)雜的光照影響下，達(dá)不到理想的要求。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了解決上述問題，提出了一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。該方法利用一種優(yōu)化的快速收斂MLP?ANN算法—優(yōu)化輸入向量規(guī)格化神經(jīng)網(wǎng)絡(luò)（OIN，optimal?input?normalization）和SVM回歸算法相結(jié)合，實現(xiàn)多分類和回歸分析，是對現(xiàn)有SVM/ANN的機(jī)制具體實現(xiàn)和優(yōu)化。

為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，主要包括以下步驟：

Step（1）：初始化部分，對輸入樣本值進(jìn)行歸一化，產(chǎn)生初始隱含層權(quán)值，并計算出隱含層神經(jīng)元的輸入值，根據(jù)隱含層神經(jīng)元采用的激活函數(shù)得到相應(yīng)的隱含層神經(jīng)元輸出值；

Step（2）：根據(jù)類別數(shù)M和原始樣本的類別，利用輸出重定向OR建立各個原始樣本相應(yīng)的MLP分類訓(xùn)練的M維理想分類向量；