[發明專利]融合最小二乘向量機回歸學習思想的改進極限學習機

有效

• 申請號: 201210141568.6
• 申請日: 2012-05-09
• 公開（公告）號: CN102708381A
• 公開（公告）日: 2012-10-03
• 發明（設計）人: 毛力;張立冬
• 申請（專利權）人: 江南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 無錫市大為專利商標事務所 32104
• 代理人: 曹祖良

1.一種融合最小二乘向量機回歸學習思想的改進極限學習機，其特征是，所述改進極限學習機包括如下步驟：

步驟1、給定觀測數據集T，T＝{(x₁,y₁),…,(x_j,y_j),…,(x_N,y_N)}，其中，x_j∈Rⁿ,y_j∈R,j＝1,…,N；將包括N個隱層節點，激勵函數為G的極限學習機回歸模型設定為

f(x)=Σi=1NβiG(ai,bi,xi)=β·h(x);]]>

其中，β_i為第i個隱層節點與輸出神經元的輸出權值，β為輸出權值矩陣，a_i為輸入神經元與第i個隱層節點的輸入權值，b_i為第i個隱層節點的偏置，h(x)為隱層輸出矩陣，h(x)＝[G(a₁,b₁,x₁),…,G(a_N,b_N,x_N)]；

步驟2、隨機初始化輸入權值a_i和偏置b_i，i＝1,...,N，并使得輸入權值a_i和偏置b_i在訓練過程中保持不變；

步驟3、根據經驗風險最小化的ELM和結合最小二乘向量機回歸學習思想的結構風險最小化方法，得到

min12||β||2+12ζΣi=1Nδi2]]>

yi-f(xi)=δiδi≥0,i=1,···,N]]>

其中，δ_i為誤差，誤差的平方和δ_i²代表經驗風險；||β||²代表結構風險，ζ為調節系數；

步驟4、將步驟3得到的條件極值函數轉換為拉格朗日函數，得到

LELM=12||β||2+12ζΣi=1Nδi2-Σi=1Nλi[yi-f(xi)-δi]]]>

其中，L_ELM為拉格朗日函數；λ_i為拉格朗日乘子；

步驟5、將步驟4得到拉格朗日函數利用KKT最優函數得到

∂LELM∂β=0⇒β=Σi=1Nλih(xi)∂LELM∂δi=0⇒λi=ζ·δi∂LELM∂λi=0⇒yi-f(xi)-δi=0;]]>

并根據上述優化約束條件計算得到拉格朗日乘子λ_i和輸出權值矩陣β；

步驟6、根據步驟5得到的輸出權值矩陣β，得到極限學習機回歸模型f(x)。

2.根據權利要求1所述的融合最小二乘向量機回歸學習思想的改進極限學習機，其特征是：所述激勵函數G為sigmoid函數，G(a,b,x)＝1/(1+exp(-(a·x)+b))。