[發(fā)明專利]一種基于貝葉斯估計的小波神經(jīng)網(wǎng)絡權值初始化方法

在審

• 申請?zhí)枺?/td>: 201410023610.3
• 申請日: 2014-01-20
• 公開（公告）號: CN103761567A
• 公開（公告）日: 2014-04-30
• 發(fā)明（設計）人: 袁贛南;杜雪;趙玉新;陳立娟;李旺;吳迪;常帥;賈韌鋒;陳嵩博;韓自發(fā)
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于貝葉斯估計的小波神經(jīng)網(wǎng)絡權值初始化方法，其特征在于：

（1）建立小波神經(jīng)網(wǎng)絡模型

設置小波神經(jīng)網(wǎng)絡的網(wǎng)絡層數(shù)和各層神經(jīng)元的個數(shù)，并將各層權值分別設置為[-1,1]區(qū)間上均勻分布的隨機數(shù)；

（2）權值單位化

小波網(wǎng)絡的所有權值按層進行單位化，設W_MN為由w_mn(m＝1...M;n＝1...N)組成的第M層至第N層間的權值矩陣，則單位化后的權值矩陣W_MN為：

WMN=WMNΣm=1MΣn=1Nwmn2;]]>

（3）輸入與小波神經(jīng)元權值優(yōu)化

以小波函數(shù)為激勵函數(shù)的神經(jīng)元為中心，將前后兩個網(wǎng)絡層中的權值與小波函數(shù)類型和神經(jīng)元個數(shù)進行關聯(lián)，設L、M、N為三個網(wǎng)絡層，其神經(jīng)元個數(shù)分別為L、M、N，其中M層的激勵函數(shù)為小波函數(shù)，L、N分別是它的前后兩層，W_LM、W_MN為單位化后三層間的權值矩陣，則將小波函數(shù)類型和神經(jīng)元個數(shù)與其關聯(lián)后為：

WLM=KM·WLMLM]]>

WMN=KM·WMNMN]]>

其中K_M為與小波函數(shù)有關的常值，A的取值范圍為1.6～2.1，若L為輸入層，則還需與輸入值U(l)(l＝1...L)進行關聯(lián)：

WLM=U(l)Σl=1LU(l)·WLM]]>

（4）輸出層神經(jīng)元權值優(yōu)化

輸出層神經(jīng)元權值以單個輸出層神經(jīng)元為單位進行優(yōu)化，設輸出層R的神經(jīng)個數(shù)為R，與輸出層相連的網(wǎng)絡層Q的個數(shù)為Q，優(yōu)化時將分別計算每個輸出層神經(jīng)元r與Q個上一層神經(jīng)元間的權值，其組成的權值向量為W_rQ，即整個輸出層權值矩陣的維度是Q×R，權值優(yōu)化過程以單個輸出值為計算單位，因此優(yōu)化過程將進行R次循環(huán)，每次計算出Q維的權值向量：

a.計算輸出層神經(jīng)元權值的先驗概率密度

設W_t為輸出層神經(jīng)元r的權值向量，其先驗概率密度采用有限元方法求得，它首先對當前權值進行區(qū)域剖分，在單元區(qū)域內(nèi)進行雙線性插值構造母單元的形函數(shù)N_i，其表達式為：

PWt=Σi=12n-1(n+2)Ni·pit+1]]>

在初始階段只有母單元的角結點，令為相應角結點的形函數(shù)，w是神經(jīng)網(wǎng)絡輸出層權值的初值，則這些形函數(shù)可表示為：

Ni~=12QΠu=1Q(1+wu),i=1,2,...,2Q]]>

在母單元的基礎上添加邊結點后的形函數(shù)可表示為

Ni=Ni~-12Σu=1QNui≤2Q12Q-1(1-wu2)Πv=1,v≠uQ(1+wv)i>2Q]]>

式中i≤2^Q表示角結點的形函數(shù)，i＞2^Q表示添加的邊結點的形函數(shù)，N_u的下角標u代表與第i個角結點相鄰的邊界點個數(shù)，最后通過四階Runge-Kutta法求解

pt+1(Wt)=pt((Wt))+Δtk6(K1+2K2+2K3+K4)]]>

K1=L(p)K2=L(p)+Δt2·K1K3=L(p)+Δt2·K2K4=L(p)+Δt2·K3]]>

其中L(p)為由描述先驗概率密度的Fokker-Planck方程：

L(p)=12Σr,s=1Q∂2(H(Wt,t)A(t)HT(Wt,t))∂Wt,r∂Wt,s-Σr=1Q∂(F(Wt,t)p)∂Wt,r]]>

上式中F(W_t,t)為權值訓練函數(shù)，H(W_t,t)為慣性項，令α為慣性項系數(shù)，則F(W_t,t)dt和H(W_t,t)的求解公式為：

F(Wt,t)=-η▿E(Wt(t))]]>

H(W_t,t)＝α(W_t-W_t-1)

其中η為學習速率，為E(W_t)在W_t的梯度函數(shù)；

b.計算輸出層神經(jīng)元權值的似然概率密度

網(wǎng)絡輸出層權值的似然概率密度為：

其中D_t是當前輸入輸出數(shù)據(jù)組成的樣本空間D_t＝(d₁,d₂,...,d_m)，cov(D_t)為t時刻網(wǎng)絡樣本的協(xié)方差矩陣：

c.計算輸出層神經(jīng)元權值的后驗概率密度及優(yōu)化權值

根據(jù)Bayesian公式可知：

P(Wt,t+1|Dt+1)=P(Wt)·P(Dt+1|Wt)∫DP(Dt+1|Wt)·P(Wt)dWt]]>

根據(jù)上式得出的后驗概率密度P(W_t,t+1|D_t+1)，可通過均值公式求得輸出層的優(yōu)化權值：

Wt=E(Wt|Dt+1)=∫DP(Wt,t+1|Dt+1)dWt;]]>

d.設定優(yōu)化循環(huán)次數(shù)Num，以當前的W_t為權值初始值，求出輸出值與目標值的誤差，繼續(xù)循環(huán)學習至Num次為止，并從中選出使誤差最小的一組權值向量；

e.重復步驟a～d計算其余輸出層神經(jīng)元的權值向量，直至完成輸出層權值矩陣。