[發(fā)明專利]融合最小二乘向量機(jī)回歸學(xué)習(xí)思想的改進(jìn)極限學(xué)習(xí)機(jī)

有效

• 申請(qǐng)?zhí)枺?/td>: 201210141568.6
• 申請(qǐng)日: 2012-05-09
• 公開(kāi)（公告）號(hào): CN102708381A
• 公開(kāi)（公告）日: 2012-10-03
• 發(fā)明（設(shè)計(jì)）人: 毛力;張立冬
• 申請(qǐng)（專利權(quán)）人: 江南大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 無(wú)錫市大為專利商標(biāo)事務(wù)所 32104
• 代理人: 曹祖良

技術(shù)領(lǐng)域

本發(fā)明涉及一種改進(jìn)極限學(xué)習(xí)機(jī)，尤其是一種融合最小二乘向量機(jī)回歸學(xué)習(xí)思想的改進(jìn)極限學(xué)習(xí)機(jī)，屬于人工智能的技術(shù)領(lǐng)域。

背景技術(shù)

支持向量機(jī)（Support?Vector?Machine，SVM）理論是Vapnik等人提出的一種基于統(tǒng)計(jì)學(xué)理論的學(xué)習(xí)方法（實(shí)際上也是一種單隱層前饋網(wǎng)絡(luò)），該方法根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，盡量提高學(xué)習(xí)機(jī)的泛化能力，最終歸結(jié)為求解一個(gè)具有線性不等式約束的二次規(guī)劃（Quadratic?Programming）問(wèn)題，但當(dāng)訓(xùn)練樣本數(shù)量增大時(shí)，二次規(guī)劃問(wèn)題將面臨維數(shù)災(zāi)難，具體參考文獻(xiàn)“Cortes?C,Vapnik?V.Support?vector?networks.Machine?Learning,1995,20(3):273-297”。因此，Suykens等人提出了最小二乘支持向量機(jī)（Least?Squares?Support?Vector?Machine,LS-SVM）將支持向量機(jī)中的線性不等式約束轉(zhuǎn)化為線性等式約束，從而把QP問(wèn)題轉(zhuǎn)化成求解線性方程組的問(wèn)題，降低了支持向量機(jī)的學(xué)習(xí)難度，提高了求解效率，具體如文獻(xiàn)“Suykens?J?A?K，Vandewalle?J．Least?squares?support?vector?machine?classifiers.Neural?Processing?Letters,1999,9(3):293-300”中所述。

極限學(xué)習(xí)機(jī)（Extreme?Learning?Machine,ELM）是Huang提出的一種新型的單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，見(jiàn)文獻(xiàn)“Huang?G?B,Zhu?Q?Y,Siew?C?K.Extreme?learning?machine:theory?and?applications.Neurocomputing,2006,70(1-3):489-501”。極限學(xué)習(xí)機(jī)的基本思想為：訓(xùn)練前設(shè)置合適的隱層節(jié)點(diǎn)數(shù)，在執(zhí)行過(guò)程中只需要為輸入權(quán)值和隱層偏置隨機(jī)賦值，整個(gè)過(guò)程一次完成，無(wú)需迭代，并且產(chǎn)生唯一的最優(yōu)解；因此具有參數(shù)選擇容易、學(xué)習(xí)速度快的優(yōu)點(diǎn)。但是傳統(tǒng)ELM是基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理，應(yīng)用于預(yù)測(cè)時(shí)極易導(dǎo)致過(guò)度擬合問(wèn)題。近年來(lái)，相關(guān)研究對(duì)其進(jìn)行了改進(jìn)，如文獻(xiàn)“Liang?N?Y，Huang?G?B,P.Saratchandran,et?al.A?fast?and?accurate?online?sequential?learning?algorithm?for?feedforward?networks?[J].IEEE?Transactions?on?Neural?Networks,2006,17(6):1411-1423.”中提出一種基于在線批量學(xué)習(xí)的極限學(xué)習(xí)機(jī)（OS-ELM），該算法能夠逐個(gè)或逐批的進(jìn)行學(xué)習(xí)，有效地提高了算法的泛化能力，但是卻過(guò)分地依賴實(shí)驗(yàn)數(shù)據(jù)。在文獻(xiàn)“Lan?Y，Soh?Y?C,Huang?G?B.Ensemble?of?online?sequential?extreme?learning?machine.Neurocompting,2009,72:3391-3395.”中提出了一種在線批量學(xué)習(xí)的極限學(xué)習(xí)機(jī)的集成算法（EOS-ELM），算法中采用多個(gè)OS-ELM模型來(lái)進(jìn)行問(wèn)題的處理。在文獻(xiàn)“Rong?H?j,Huang?G?b,N.sundararajan,et?al.Online?sequential?fuzzy?extreme?learning?machine?for?function?approximation?classification?problems.IEEE?transactions?on?systems,man,and?cybernetics-part?b:cybernetics,2009,39(4):1067-1072.”中將TS模糊系統(tǒng)與OS-ELM算法相結(jié)合，提出一種OS-Fuzzy-ELM算法。在文獻(xiàn)“Feng?G，Huang?G?B,Lin?Q?P，Gay?R.Error?minimized?extreme?learning?machine?with?growth?of?hidden?nodes?and?incrementallearning.IEEE?Transactions?on?Neural?Networks,2009,20(8):1352-1357.”中基于最小誤差化提出了一種改進(jìn)的ELM算法來(lái)提高算法的性能。但是上述算法仍都基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理，極易導(dǎo)致過(guò)度擬合問(wèn)題。在文獻(xiàn)“Huang?G?B,Ding?X?J,Zhou?H?M.Optimization?method?based?extreme?learning?machine?for?classification.Neurocompting,2010,74(1-3):155-163”、“Liu?Q,He?Q,Shi?Z.Extreme?support?vector?machine?classifier.Lecture?Notes?in?Computer?Science,2008,5012:222-233”中也對(duì)其進(jìn)行了改進(jìn)，但改進(jìn)后的算法僅僅適用于分類問(wèn)題。