[發(fā)明專利]一種自適應(yīng)學習率的BP神經(jīng)網(wǎng)絡(luò)算法

在審

• 申請?zhí)枺?/td>: 201710127684.5
• 申請日: 2017-03-06
• 公開（公告）號: CN108537335A
• 公開（公告）日: 2018-09-14
• 發(fā)明（設(shè)計）人: 華雨;王曉鳴
• 申請（專利權(quán)）人: 南京理工大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 唐代盛

1.一種自適應(yīng)學習率的BP神經(jīng)網(wǎng)絡(luò)算法，其特征在于，具體包括以下步驟：

第一步：網(wǎng)絡(luò)初始化；

初始化輸入層I到隱層J的權(quán)值矩陣U以及隱層J到輸出層P的權(quán)值矩陣V，確定各層神經(jīng)元個數(shù)以及隱層中的傳遞函數(shù)；設(shè)定期望輸出E以及期望收斂精度Es；

第二步：樣本輸入；

將需要訓練的樣本數(shù)據(jù)依次輸入至算法程序中；

第三步：正向傳播；

計算實際輸出和期望輸出的誤差值E(n)；

第四步：結(jié)果判斷；

并判斷誤差值E(n)是否符合要求，即E(n)<E_s，若符合要求則輸出結(jié)果并結(jié)束訓練，否則轉(zhuǎn)至反向傳播；

第五步：反向傳播；

即通過調(diào)整學習率來尋找當前迭代計算梯度方向上的最優(yōu)解；這里以任意權(quán)值矩陣W中的任意權(quán)值w_i為例，進行具體的調(diào)整方法說明；首先判斷w_i的梯度若w_i的梯度為0，即那么調(diào)整下一個權(quán)值w_i+1，且調(diào)整方法與w_i一致，若其不為0，那么按照公式(1)和式(2)進行調(diào)整：

w_i(n+1)＝w_i(n)+Δw_i(n) (2)

式中，Δw_i(n)表示調(diào)整的權(quán)值變化量，η_i(n)為該權(quán)值在第n次調(diào)整時的學習率，根據(jù)調(diào)整后所得權(quán)值即第n+1次迭代的權(quán)值w_i(n+1)相對于本次權(quán)值即第n次迭代的權(quán)值Δw_i(n)是否更為接近最優(yōu)解。

2.如權(quán)利要求1所述的一種自適應(yīng)學習率的BP神經(jīng)網(wǎng)絡(luò)算法，其特征在于，步驟5反向傳播分兩種情況處理，具體為：

5.1若調(diào)整后所得w_i(n+1)相對Δw_i(n)更接近最優(yōu)解，即誤差有所減小，那么暫時提高學習率，令學習率翻倍：

沿Δw_i(n)的負梯度方向按照第一次翻倍后的新學習率重新計算權(quán)值w_i(n+1)，求得一個新的權(quán)值若經(jīng)正向傳播后所得誤差相比權(quán)值w_i(n+1)更小，那么按照式(3)繼續(xù)增大學習率得到第二次翻倍后的學習率并按上述辦法繼續(xù)計算權(quán)值并作比較；直到經(jīng)過第a次計算后所得權(quán)值相比前一次計算所得權(quán)值誤差較大，則停止計算，令：

隨后跳轉(zhuǎn)至第三步進行下一次迭代計算；

5.2若調(diào)整后的誤差更偏離最優(yōu)解，即誤差反而增大了，那么暫時減小學習率，這里我們令學習率減半：

同樣的，沿w_i(n)的負梯度方向按照第一次減半后的新學習率重新計算求得一個新的權(quán)值若新的權(quán)值仍舊不如權(quán)值w_i(n)，即誤差相比權(quán)值w_i(n)提高了，那么則按照式(6)繼續(xù)減小學習率得到第二次減半后的學習率繼續(xù)上述計算，直到經(jīng)過q次計算后所得權(quán)值相比w_i(n)更優(yōu)，則停止計算，令：

隨后跳轉(zhuǎn)至第三步進行下一次迭代計算。