[發(fā)明專(zhuān)利]一種基于社會(huì)力模型群優(yōu)化算法的極限學(xué)習(xí)機(jī)的學(xué)習(xí)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710818504.8
• 申請(qǐng)日: 2017-09-12
• 公開(kāi)（公告）號(hào): CN107563518A
• 公開(kāi)（公告）日: 2018-01-09
• 發(fā)明（設(shè)計(jì)）人: 續(xù)欣瑩;徐晨晨;陳琪;謝珺
• 申請(qǐng)（專(zhuān)利權(quán)）人: 太原理工大學(xué)
• 主分類(lèi)號(hào): G06N99/00
• 分類(lèi)號(hào): G06N99/00;G06N3/00
• 代理公司: 太原市科瑞達(dá)專(zhuān)利代理有限公司14101
• 代理人: 盧茂春

1.一種基于社會(huì)力模型群優(yōu)化算法的極限學(xué)習(xí)機(jī)的學(xué)習(xí)方法，給定N個(gè)不同的樣本(x_i,y_i)，i＝1,2,...,N，x_i,y_i分別表示第i個(gè)樣本的輸入值和輸出值，x_i＝(x_i1,x_i2,...,x_in)^T∈Rⁿ，y_i＝(y_i1,y_i2,...,y_im)^T∈R^m，其中T表示轉(zhuǎn)置，R為實(shí)數(shù)集合，m和n表示樣本的特征維數(shù)；隱層神經(jīng)元的激活函數(shù)為g(·)，隱層節(jié)點(diǎn)數(shù)目為L(zhǎng)；其特征是包括下述步驟：

步驟1：初始化種群的N個(gè)個(gè)體

行人的位置代表著優(yōu)化問(wèn)題的一個(gè)解，對(duì)N個(gè)行人在搜索空間進(jìn)行初始化；行人具有如下信息：速度v、當(dāng)前位置p、歷史記憶h、行人的社會(huì)力F；行人的初始速度、歷史記憶以及社會(huì)力在初始化時(shí)均設(shè)置為零向量；其中行人α的當(dāng)前位置p_α＝(p_α,1,p_α,2,...,p_α,D)按照如下公式進(jìn)行初始化：

p_α,i＝l_i+rand·(u_i-l_i)(1)

式中p_α,i為p_α的第i維分量，i＝1,2,…D，其中D為搜索空間的維度，rand為[0,1]之間的隨機(jī)數(shù)，u_i和l_i分別為搜索空間第i維分量的上下限；

將初始化后的種群作為第一代種群，每個(gè)個(gè)體的編碼方式如下所示：

θ_i,G＝[w_1,(i,t),...,w_L,(i,t),b_1,(i,t),...,b_L,(i,t)](2)

其中w_j和b_j分別代表個(gè)體的第j維輸入權(quán)重和隱含層偏置，j＝1,…,L；w_j和b_j通過(guò)式(1)隨機(jī)產(chǎn)生；i＝1,2,…N；t表示迭代代數(shù)；

步驟2：計(jì)算輸出權(quán)重和適應(yīng)度值

在極限學(xué)習(xí)機(jī)算法中：

Hwo＝Y(jié)(3)

其中H為網(wǎng)絡(luò)的隱含層輸出矩陣，wo為輸出權(quán)重矩陣，Y表示網(wǎng)絡(luò)輸出矩陣，

H=g(w1·x1+b1)...g(wL·x1+b1).........g(w1·xN+b1)...g(wL·xN+bL)N×L,wo=wo1T...woLTL×m,Y=y1T...yLTN×m]]>

其中g(shù)(·)為激活函數(shù)，w_j和b_j分別代表個(gè)體的第j維輸入權(quán)重和隱含層偏置，j＝1,…,L；L為隱層節(jié)點(diǎn)數(shù)目，N為樣本個(gè)體數(shù)目，m表示樣本的特征維數(shù)，T表示轉(zhuǎn)置；

由于輸入權(quán)重和隱含層偏置可以隨機(jī)給定，隱層輸出矩陣H就變成一個(gè)確定的矩陣,這樣前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練就可以轉(zhuǎn)化成一個(gè)求解輸出權(quán)重矩陣的最小二乘解的問(wèn)題，只需要求出輸入權(quán)重的最小二乘解就能完成網(wǎng)絡(luò)的訓(xùn)練，得到輸出權(quán)重矩陣；對(duì)每個(gè)個(gè)體，根據(jù)等式(4)計(jì)算相應(yīng)的最小輸出權(quán)重矩陣；

wo＝H⁺Y(4)

其中H⁺表示隱含層輸出矩陣H的Moore-Penrose廣義逆，Y表示網(wǎng)絡(luò)輸出矩陣；

如果是分類(lèi)問(wèn)題，采用式(5)計(jì)算每個(gè)種群的適應(yīng)度值；回歸問(wèn)題則采用均方根誤差如式(6)作為種群的適應(yīng)度；

f()=MisclassCountnv---(5)]]>

f()=Σj=1nv||Σi=1Hwoig(wi·xj+bj)-yj||22nv---(6)]]>

公式(5)中MisclassCount是用檢驗(yàn)數(shù)據(jù)集測(cè)試后實(shí)際分類(lèi)結(jié)果與真實(shí)分類(lèi)結(jié)果不相等的個(gè)數(shù)，n_v是檢驗(yàn)集樣本數(shù)量；

步驟3：個(gè)體選擇目標(biāo)和種群分類(lèi)

1)采用概率選擇機(jī)制從歷史記憶中選擇行人目標(biāo)，行人的歷史記憶被選入目標(biāo)集T的概率如下：

probα=0.9·(fitness(hα)-min(fitness(h)))max(fitness(h))-min(fitness(h))+0.1---(7)]]>

式中fitness(h_α)為行人α歷史記憶的適應(yīng)度值，max(fitness(h))，min(fitness(h))分別為行人歷史記憶適應(yīng)度值的最大值和最小值；

2)當(dāng)rand≤prob_α時(shí)，將行人α的歷史記憶h_α選入目標(biāo)集T中，其中rand為[0,1]之間的隨機(jī)數(shù)；目標(biāo)集T確定后計(jì)算行人α與目標(biāo)集中每個(gè)目標(biāo)之間的距離，選擇其中距離最短的一個(gè)目標(biāo)作為α的目標(biāo)T_α，并將相同目標(biāo)的行人歸類(lèi)到一個(gè)種群G_k,k＝1,2,...,T；

步驟4：對(duì)種群G_k中的個(gè)體進(jìn)行分類(lèi)并執(zhí)行相應(yīng)搜索機(jī)制

1)依據(jù)公式(8)求出種群G_k中行人成為自由個(gè)體的概率：

ρα=(RDisα2)3.6---(8)]]>

式中ρ_α為行人α成為自由個(gè)體的概率，RDis_α為行人α與目標(biāo)的相對(duì)距離；當(dāng)隨機(jī)數(shù)rand≤ρ_α時(shí)，行人α成為自由個(gè)體，否則為非自由個(gè)體，rand為[0,1]之間的隨機(jī)數(shù)；

2)群體分類(lèi)完成后，分別執(zhí)行不同的搜索機(jī)制對(duì)解空間進(jìn)行搜索，成為自由個(gè)體的行人α?xí)艞壆?dāng)前位置p_α并按公式(1)執(zhí)行隨機(jī)搜索，隨機(jī)搜索能提高算法的全局搜索能力；而非自由個(gè)體則會(huì)在社會(huì)力的驅(qū)動(dòng)下朝著選定的目標(biāo)進(jìn)行搜索；

步驟5：更新非自由個(gè)體的速度和位置

根據(jù)公式(9)、(10)來(lái)更新每個(gè)行人受社會(huì)力后的速度和位置；每個(gè)行人每一維的位置限制在[-1,1]之間,對(duì)個(gè)體進(jìn)行邊界檢查，并對(duì)超出[-1,1]邊界的個(gè)體按(1)式重新進(jìn)行賦值；

1)行人α的速度更新公式如下：

vα(t+Δt)=vα(t)+Fαd(t)Δt+Fαβγ(t)Δt---(9)]]>

式中，v_α(t+Δt)與v_α(t)分別為行人α在t+Δt和t代的速度，和分別為行人在t代所受期望力和排斥力，t表示當(dāng)前迭代代數(shù)，Δt為1；

2)行人α的位置更新公式如下：

p_α(t+Δt)＝p_α(t)+v_α(t)Δt(10)

式中p_α(t+Δt)和p_α(t)分別是行人α在t+Δt和t代的位置，v_α(t)是行人α在t代的速度；

3)社會(huì)期望力期望速度行人β對(duì)α的排斥力以及半徑r的定義：

①行人α的期望力由下式定義：

Fαd(t)=vαd(t)-vα(t)τ=eα(t)vα0(t)(1+Vfac(u-l))-vα(t)τ---(11)]]>

式中為第t代行人α的期望速度，v_α(t)為第t代行人α實(shí)際速度，τ為松弛時(shí)間；e_α(t)、分別為第t代行人α的期望運(yùn)動(dòng)方向和無(wú)向期望速度(標(biāo)量)，由式(12)、(13)給出，u、l為解空間的上下限，Vfac為速度因子；

eα=Tα-Pα|Tα-Pα|---(12)]]>

式(12)中T_α為行人α的目標(biāo)位置，P_α為行人α的位置；式(13)中ρ為縮放因子，θ為速度范圍的控制參數(shù)；為行人α距目標(biāo)T_k的距離，為子群體中個(gè)體到目標(biāo)距離的最大值；

②行人β對(duì)α的排斥力由下式給出：

Fαβγ(T)=A·exp(rαβ-disα,βB)n→α,β---(14)]]>

式中A、B是常數(shù)，分別表示行人α與其他行人的相互作用強(qiáng)度和作用范圍；r_αβ＝r_α+r_β為相互作用的兩個(gè)行人的半徑和；dis_α,β為行人α和β之間的距離；是行人β指向行人α的單位向量；

③行人自身的半徑r采用加權(quán)的形式進(jìn)行更新：

r^t+1＝(1-μ)r^t+μ·rλ(15)

式中r^t為第t代的行人半徑，rλ為半徑調(diào)整因子，μ為權(quán)重因子；

rλ的大小與行人歷史記憶位置和當(dāng)前位置的標(biāo)準(zhǔn)差δ_h、δ_c有關(guān)，半徑調(diào)整因子rλ按公式(16)進(jìn)行更新：

rλ=min(δht20,0.3)·(δhtδct),ifδhtδh0>0.5max(δht20,5)·(δhtδct),ifδhtδh0≤0.5,δht>δctmin(δht20,1)·(δhtδct),ifδhtδh0≤0.5,δht≤δct---(16)]]>

式中為第t代當(dāng)前種群位置、歷史記憶位置和初代的歷史記憶位置的標(biāo)準(zhǔn)差；

標(biāo)準(zhǔn)差采用加權(quán)的方式進(jìn)行更新，如式(17)、(18)：

δc(t+1)=(1-μ)δct+μ·std(p(t+1))---(17)]]>

δh(t+1)=(1-μ)δht+μ·std(h(t+1))---(18)]]>

式中p^(t+1))和h^(t+1)分別為第(t+1)代的行人當(dāng)前位置和歷史記憶，std(·)為求標(biāo)準(zhǔn)差運(yùn)算；

步驟6：更新歷史記憶

行人經(jīng)過(guò)位置與速度更新之后，使用檢驗(yàn)集的適應(yīng)度和輸出權(quán)重的范數(shù)來(lái)共同決定行人歷史記憶h_g的更新；

hg=hα(f(hg)-f(hα)>γ·f(hg))or(|f(hg)-f(hα)|)<γ·f(hg)and||wohα||<||wohg||hgelse---(19)]]>

式中f(h_α)，f(h_g)分別代表第α個(gè)行人最好位置的適應(yīng)度值和種群中全局最好位置的適應(yīng)度值；γ是容差率，γ＞0；分別代表第α個(gè)行人最好位置所對(duì)應(yīng)的輸出權(quán)值向量和種群中全局最好位置的輸出權(quán)值向量；

步驟7：協(xié)作階段

1)為了加強(qiáng)行人間的信息共享，采用兩種協(xié)作方式共同更新歷史記憶，即單維協(xié)作與多維協(xié)作；單維協(xié)作與多維協(xié)作分別由(20)、(21)給出：

hα,i′=hα,i+φ·(hα,i-pβ,i),η<0.3andψ<0.5hβ,j,η<0.3andψ≥0.5hα,i+φ·(hα,i-hβ,i),η≥0.3---(20)]]>

hα′=hα+φ·(hα-pβ),η<ψhα+φ·(hα-hβ),η≥ψ---(21)]]>

式(20)、(21)中，i，j代表隨機(jī)選擇的維數(shù)，h'_α,i為行人α單維協(xié)作后第i維分量更新的歷史記憶，h'_α為行人α多維協(xié)作后更新的的歷史記憶，h_α,i和h_β,i分別為行人α和β新生成的的第i維分量，p_β,i為行人β的當(dāng)前位置的第i維分量，h_α表示行人α新生成的歷史記憶，p_β為行人β的當(dāng)前位置，h_β表示行人β新生成的歷史記憶，φ是[-1,1]之間的隨機(jī)數(shù)，η和ψ為[0,1]之間的隨機(jī)數(shù)；

2)給定兩個(gè)隨機(jī)數(shù)a,b，且a,b∈[0,1]，如果a＜b，則按公式(20)進(jìn)行單維協(xié)作，否則按式(21)進(jìn)行多維協(xié)作；完成后對(duì)個(gè)體進(jìn)行邊界檢查，若更新后的歷史記憶小于-1則取-1，大于1則取1；最后采用精英保留的策略更新歷史記憶；

步驟8：終止條件判斷

重復(fù)步驟2～7，直到滿(mǎn)足最大迭代次數(shù)或達(dá)到最優(yōu)解；輸出具有最小適應(yīng)度值的個(gè)體的位置與對(duì)應(yīng)的輸出權(quán)重，然后將最優(yōu)的ELM應(yīng)用到測(cè)試集。

2.根據(jù)權(quán)利要求1所述一種基于社會(huì)力模型群優(yōu)化算法的極限學(xué)習(xí)機(jī)的學(xué)習(xí)方法，其特征在于：一種基于社會(huì)力模型群優(yōu)化算法的極限學(xué)習(xí)機(jī)的學(xué)習(xí)方法的程序流程包括下述內(nèi)容：

步驟1：首先初始化參數(shù)值，所述參數(shù)值包括種群大小N，隱含層節(jié)點(diǎn)數(shù)L，松弛時(shí)間τ，最大迭代次數(shù)Iter_max，速度因子ρ，行人半徑r，期望控制參數(shù)θ，排斥力參數(shù)A、B，權(quán)重因子μ；

步驟2：初始化種群中每個(gè)個(gè)體的速度和位置；

步驟3：計(jì)算每個(gè)個(gè)體在第t代的適應(yīng)度值，t為當(dāng)前迭代代數(shù)；

步驟4：選擇目標(biāo)階段，生成目標(biāo)集T，并將相同目標(biāo)的個(gè)體歸類(lèi)到種群G_k；

步驟5：當(dāng)隨機(jī)數(shù)rand≤ρ_α時(shí)，其中rand為[0,1]之間的隨機(jī)數(shù)，回到步驟2，行人α初始化其速度和位置V_α(t),P_α(t),α＝1,2,...,N；當(dāng)隨機(jī)數(shù)rand＞ρ_α時(shí)，執(zhí)行步驟6；

步驟6：執(zhí)行社會(huì)力搜索機(jī)制，更新行人速度和位置V_α(t),P_α(t),α＝1,2,...,N，α為自然數(shù)；

步驟7：計(jì)算適應(yīng)度值，通過(guò)概率選擇判斷是否更新歷史記憶；此時(shí)迭代代數(shù)t進(jìn)行更新，t＝t+1；

步驟8：如果迭代代數(shù)t＞Iter max，執(zhí)行步驟9；如果迭代代數(shù)t≤Iter max,則執(zhí)行步驟3；

步驟9：迭代完成，輸出歷史記憶h_g，相應(yīng)的行元素對(duì)應(yīng)最優(yōu)的輸入權(quán)重和隱含層偏置，從而得到泛化性能最佳的ELM。