[發(fā)明專利]基于DE-BP算法的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)訓(xùn)練方法

在審

• 申請?zhí)枺?/td>: 202211548944.3
• 申請日: 2022-12-05
• 公開（公告）號: CN115906959A
• 公開（公告）日: 2023-04-04
• 發(fā)明（設(shè)計(jì)）人: 童怡玲;薛羽
• 申請（專利權(quán)）人: 南京信息工程大學(xué)
• 主分類號: G06N3/0499
• 分類號: G06N3/0499;G06N3/048;G06F18/214;G06N3/084
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 朱小兵

1.基于DE-BP算法的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)訓(xùn)練方法，其特征在于，所述參數(shù)訓(xùn)練方法包括以下步驟：

步驟1，對待分類樣本數(shù)據(jù)集進(jìn)行預(yù)處理，按比例劃分為訓(xùn)練集和測試集，根據(jù)預(yù)處理后待分類樣本數(shù)據(jù)構(gòu)建前饋神經(jīng)網(wǎng)絡(luò)模型；

步驟2，根據(jù)進(jìn)化計(jì)算算法構(gòu)建種群，對種群進(jìn)行隨機(jī)初始化，種群中的每個(gè)個(gè)體代表前饋神經(jīng)網(wǎng)絡(luò)模型的一組參數(shù)，對種群中的每個(gè)個(gè)體進(jìn)行編碼；利用樣本訓(xùn)練集對每個(gè)編碼后的個(gè)體在前饋神經(jīng)網(wǎng)絡(luò)模型向前傳播過程中訓(xùn)練，計(jì)算前饋神經(jīng)網(wǎng)絡(luò)模型的預(yù)期值和真實(shí)值之間的誤差，將誤差作為個(gè)體的適應(yīng)度值；

步驟3，利用樣本訓(xùn)練集訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)模型，分別利用DE算法和BP算法訓(xùn)練編碼后的種群，獲得種群最優(yōu)個(gè)體；所述最優(yōu)個(gè)體代表前饋神經(jīng)網(wǎng)絡(luò)模型的一組最優(yōu)參數(shù)；

步驟4，利用帶有最優(yōu)參數(shù)的前饋神經(jīng)網(wǎng)絡(luò)模型對樣本測試集進(jìn)行測試，得到待分類樣本數(shù)據(jù)的最佳分類精度。

2.根據(jù)權(quán)利要求1所述的基于DE-BP算法的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)訓(xùn)練方法，其特征在于，在步驟3中，分別利用DE算法和BP算法訓(xùn)練編碼后的種群包括以下步驟：

步驟31，根據(jù)種群中個(gè)體的適應(yīng)度值，初始化種群的歷史全局最優(yōu)個(gè)體和個(gè)體的歷史最優(yōu)，初始化選擇概率池中每種BP算法的選擇概率P_k，k表示第k種BP算法，k＝1,2,3,4；

步驟32，判斷當(dāng)前前饋神經(jīng)網(wǎng)絡(luò)模型的迭代次數(shù)是否達(dá)到最大迭代次數(shù)，若是則結(jié)束迭代，否則進(jìn)入步驟33；

步驟33，利用DE算法對個(gè)體進(jìn)行變異操作和交叉操作，更新個(gè)體的位置；

步驟34，計(jì)算種群中每個(gè)個(gè)體的適應(yīng)度值，選取適應(yīng)度值最小的個(gè)體作為種群的歷史全局最優(yōu)個(gè)體，更新個(gè)體的歷史最優(yōu)，判斷歷史全局最優(yōu)個(gè)體和當(dāng)前全局最優(yōu)個(gè)體的適應(yīng)度值差距是否小于閾值r，或者種群的歷史全局最優(yōu)個(gè)體和當(dāng)前全局最優(yōu)個(gè)體的位置差距是否大于閾值h1，如果滿足任一條件則進(jìn)入步驟35，否則返回步驟32；

步驟35，根據(jù)選擇概率池中的選擇概率，利用輪盤賭技術(shù)，自適應(yīng)選擇一種BP算法在反向傳播中更新種群中的個(gè)體，在每一次迭代中，記錄第k種BP算法在第j次迭代時(shí)更新個(gè)體成功次數(shù)nsflag_k,j和失敗次數(shù)nfflag_k,j；

步驟36，當(dāng)?shù)螖?shù)達(dá)到預(yù)設(shè)值m₀時(shí)，則更新選擇概率池中每一種BP算法對應(yīng)的選擇概率；

步驟37，判斷種群的歷史全局最優(yōu)個(gè)體和當(dāng)前全局最優(yōu)個(gè)體的適應(yīng)度值差距是否不變，或者種群的歷史全局最優(yōu)個(gè)體和當(dāng)前全局最優(yōu)個(gè)體的位置差距是否小于閾值h2，如果滿足任一條件則返回步驟32，否則返回步驟35。

3.根據(jù)權(quán)利要求1所述的基于DE-BP算法的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)訓(xùn)練方法，其特征在于，步驟1中的前饋神經(jīng)網(wǎng)絡(luò)模型包含一層隱藏層，隱藏層節(jié)點(diǎn)的數(shù)量n表達(dá)式為：

n＝2*m+1

式中，m表示待分類樣本數(shù)據(jù)的特征數(shù)。

4.根據(jù)權(quán)利要求2所述的基于DE-BP算法的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)訓(xùn)練方法，其特征在于，所述步驟33具體包括以下過程：

對個(gè)體進(jìn)行變異操作，表達(dá)式為：

式中，和分別表示第i個(gè)個(gè)體的第一種、第二種和第三種變異方式，x_i表示第i個(gè)個(gè)體的位置，x_Gbest表示種群的歷史全局最優(yōu)個(gè)體的位置，x_Pbest表示個(gè)體i的歷史最優(yōu)的位置，r₁和r₂均是0到1之間的隨機(jī)數(shù)，c₁和c₂分別表示群體學(xué)習(xí)因子和自我學(xué)習(xí)因子，r₃和r₄均是0到50之間的隨機(jī)整數(shù)，x_r3和x_r4分別表示第r₃和r₄個(gè)個(gè)體的位置；

對個(gè)體進(jìn)行交叉操作，表達(dá)式為：

式中，CR是交叉因子；

更新個(gè)體的位置，表達(dá)式為：

x_i＝x_i+u_i。