[發(fā)明專利]一種使用遺傳算法優(yōu)化極限學(xué)習(xí)機(jī)的集成框架方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310351903.X
• 申請(qǐng)日: 2013-08-13
• 公開(kāi)（公告）號(hào): CN103400190A
• 公開(kāi)（公告）日: 2013-11-20
• 發(fā)明（設(shè)計(jì)）人: 姚敏;薛曉偉;吳朝暉
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06N3/12
• 分類號(hào): G06N3/12
• 代理公司: 杭州宇信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33231
• 代理人: 張宇娟

1.一種使用遺傳算法優(yōu)化極限學(xué)習(xí)機(jī)的集成框架方法，其特征在于，包括如下步驟；

S10：將極限學(xué)習(xí)機(jī)隨機(jī)產(chǎn)生的輸入權(quán)值及隱含層節(jié)點(diǎn)閾值編碼成遺傳算法個(gè)體，使用遺傳算法隨機(jī)出初始種群；

S11：從整個(gè)訓(xùn)練集隨機(jī)抽取出的一部分訓(xùn)練樣本組成驗(yàn)證測(cè)試集，并使用驗(yàn)證測(cè)試集計(jì)算出每個(gè)個(gè)體的適應(yīng)度；

S12：使用交叉變異等遺傳操作，產(chǎn)生與父代種群數(shù)相同的新種群；

S13：從現(xiàn)有的兩個(gè)種群中選擇適應(yīng)值優(yōu)秀個(gè)體，進(jìn)入下一代；

S14：判斷是否達(dá)到迭代次數(shù)，如果未達(dá)到迭代次數(shù)，則跳轉(zhuǎn)到步驟S11；

S15：將遺傳算法留下種群中的個(gè)體按照適應(yīng)值排序，保留集成數(shù)2倍的適應(yīng)值優(yōu)秀個(gè)體；

S16：將保留個(gè)體按照輸出權(quán)值的范數(shù)進(jìn)行排序，保留其中輸出權(quán)值范數(shù)小的一半；

S17：將最終選擇的極限學(xué)習(xí)機(jī)集成。

2.如權(quán)利要求1所述使用遺傳算法優(yōu)化極限學(xué)習(xí)機(jī)的集成框架方法，其特征在于：步驟S10中，每個(gè)個(gè)體的格式為：

θ=[w₁₁,w₁₂,...,w_1L,w₂₁,...w_2L,w_n1,...,w_nL,...,b₁,b₂,...,b_L]

L為隱含層節(jié)點(diǎn)數(shù),n為樣本輸入的維度即輸入層節(jié)點(diǎn)數(shù)，w_ij為極限學(xué)習(xí)機(jī)中第i個(gè)輸入層節(jié)點(diǎn)與第j個(gè)隱含層節(jié)點(diǎn)的連接權(quán)值，b_i為第i個(gè)隱含層節(jié)點(diǎn)的閾值。

3.如權(quán)利要求2所述使用遺傳算法優(yōu)化極限學(xué)習(xí)機(jī)的集成框架方法，其特征在于：步驟S11中，適應(yīng)度公式為：

fitness=Σj=1N||Σi=1Lβig(wi·xj+bi)-tj||22N]]>

N為隨機(jī)抽取的驗(yàn)證測(cè)試集中的樣本個(gè)數(shù)，L為隱含層節(jié)點(diǎn)數(shù)，x_j=[x_j1,x_j2,...,x_jn]^T為驗(yàn)證測(cè)試集中第j個(gè)樣本的輸入，n為樣本的輸入維度即輸入層節(jié)點(diǎn)數(shù)，t_j=[t_j1,t_j2,...,t_jm]^T為驗(yàn)證測(cè)試集中第j個(gè)樣本的輸出，m為樣本輸出的維度即輸出層節(jié)點(diǎn)數(shù)，w_i=[w_i1,w_i2,...,w_in]^T為輸入層節(jié)點(diǎn)與第i個(gè)隱含層節(jié)點(diǎn)的連接權(quán)值，bi為第i個(gè)隱含層節(jié)點(diǎn)的閾值，β_i=[β_i1,β_i2,...,β_im]^T為輸出層節(jié)點(diǎn)與第i個(gè)隱含層節(jié)點(diǎn)的連接權(quán)值;g(w_i·x_j+b_i)為隱含層激活函數(shù)，適應(yīng)值公式機(jī)為求得每個(gè)驗(yàn)證測(cè)試集個(gè)體的均方根誤差。

4.如權(quán)利要求3所述使用遺傳算法優(yōu)化極限學(xué)習(xí)機(jī)的集成框架方法，其特征在于：步驟S17中，整個(gè)集成網(wǎng)絡(luò)的最終輸出結(jié)果是將每個(gè)極限學(xué)習(xí)得到的結(jié)果平均。