[發(fā)明專利]一種基于動(dòng)態(tài)前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和成長(zhǎng)率函數(shù)的手寫數(shù)字識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210264800.9
• 申請(qǐng)日: 2022-03-17
• 公開（公告）號(hào): CN114596567A
• 公開（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 張曉平;楊天航;王力;劉翼豪;李凱;吳宜通;孟祥鵬;鄭遠(yuǎn)鵬
• 申請(qǐng)（專利權(quán)）人: 北方工業(yè)大學(xué)
• 主分類號(hào): G06V30/244
• 分類號(hào): G06V30/244;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

1.一種基于動(dòng)態(tài)前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和成長(zhǎng)率函數(shù)的手寫數(shù)字識(shí)別方法，其特征在于，包括：

(1)獲取手寫數(shù)字圖像的數(shù)據(jù)集，并對(duì)圖片進(jìn)行數(shù)據(jù)預(yù)處理：灰度化處理，轉(zhuǎn)換為張量并做歸一化；

(2)使用數(shù)據(jù)集訓(xùn)練初始化小規(guī)模的神經(jīng)網(wǎng)絡(luò)，暫停訓(xùn)練對(duì)神經(jīng)網(wǎng)絡(luò)的性能進(jìn)行階段性測(cè)試；

(3)基于性能指標(biāo)計(jì)算得出成長(zhǎng)率，通過成長(zhǎng)率計(jì)算在恢復(fù)訓(xùn)練時(shí)需要增長(zhǎng)的網(wǎng)絡(luò)規(guī)模；

(4)基于網(wǎng)絡(luò)性能測(cè)試結(jié)果，篩選需要?jiǎng)h減和分裂的神經(jīng)元；

(5)對(duì)于被分裂的神經(jīng)元，通過調(diào)整權(quán)重值保持網(wǎng)絡(luò)輸出不變；

(6)對(duì)于被刪減的冗余神經(jīng)元，對(duì)相鄰神經(jīng)元的輸出進(jìn)行補(bǔ)償；

(7)神經(jīng)網(wǎng)絡(luò)停止成長(zhǎng)條件：判斷網(wǎng)絡(luò)成長(zhǎng)是否成熟，當(dāng)網(wǎng)絡(luò)增長(zhǎng)到合適的規(guī)模時(shí)停止增長(zhǎng)，輸出當(dāng)前網(wǎng)絡(luò)。

2.據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和成長(zhǎng)率函數(shù)的手寫數(shù)字識(shí)別方法，其特征在于：

所使用的網(wǎng)絡(luò)結(jié)構(gòu)為三層前饋神經(jīng)網(wǎng)絡(luò)，包括：輸入層、隱藏層、輸出層；訓(xùn)練開始時(shí)，初始化的小規(guī)模神經(jīng)網(wǎng)絡(luò)的各層節(jié)點(diǎn)數(shù)量分別為：784個(gè)，1個(gè)和10個(gè)；所使用的隱藏層激活函數(shù)為RReLU。

3.根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和成長(zhǎng)率函數(shù)的手寫數(shù)字識(shí)別方法，其特征在于，步驟(3)中成長(zhǎng)率函數(shù)設(shè)計(jì)：

a,b為常數(shù)，λ_lθ_l為神經(jīng)網(wǎng)絡(luò)的成長(zhǎng)因子，θ_l為第l個(gè)包含有能反映神經(jīng)網(wǎng)絡(luò)性能的指標(biāo)的計(jì)算式，λ_l為第l個(gè)包含有性能指標(biāo)的計(jì)算式的權(quán)重，其中，a＝12,b＝0.7,θ₁＝1-Acc_r,λ₁＝1，λ₂＝10,r＝1,2,...,l＝1,2。Acc_r為第r+1次神經(jīng)網(wǎng)絡(luò)成長(zhǎng)前網(wǎng)絡(luò)在完成階段性訓(xùn)練后的識(shí)別率，loss_r為第r+1次神經(jīng)網(wǎng)絡(luò)成長(zhǎng)前網(wǎng)絡(luò)網(wǎng)絡(luò)在完成階段性訓(xùn)練后的損失誤差。

4.根據(jù)權(quán)利要求3所述的基于動(dòng)態(tài)前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和成長(zhǎng)率函數(shù)的手寫數(shù)字識(shí)別方法，其特征在于，步驟(4)所述篩選需要?jiǎng)h減和增加的神經(jīng)元方法，包括：

將神經(jīng)元分別按在階段性訓(xùn)練中和暫停訓(xùn)練時(shí)在測(cè)試集中的活性p，分別由大到小排序，篩選出在測(cè)試集和訓(xùn)練集中活性排序在后的需要?jiǎng)h除的神經(jīng)元，其中u_j(t)代表第j個(gè)隱藏層神經(jīng)元在第t時(shí)刻的輸出，n＝1,2,...；

每次增長(zhǎng)時(shí)增加的隱藏層神經(jīng)元個(gè)數(shù)為：gr·h_r，增加的神經(jīng)元個(gè)數(shù)按順序分裂在階段性訓(xùn)練過程中活性較強(qiáng)的神經(jīng)元；增加后的隱藏層神經(jīng)元個(gè)數(shù)為：

h_r+1＝h_r+gr·h_r

其中，h_r為第r+1次神經(jīng)網(wǎng)絡(luò)成長(zhǎng)前，刪除掉隱藏層活性差的神經(jīng)元后剩余個(gè)數(shù)，h_r+1為成長(zhǎng)后進(jìn)入下一階段性訓(xùn)練時(shí)，隱藏層神經(jīng)元個(gè)數(shù)，x代表四舍五入取整。

5.根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和成長(zhǎng)率函數(shù)的手寫數(shù)字識(shí)別方法，其特征在于，步驟(7)所述神經(jīng)網(wǎng)絡(luò)停止成長(zhǎng)條件：

判斷網(wǎng)絡(luò)成長(zhǎng)是否成熟，當(dāng)階段性訓(xùn)練結(jié)束后，需要增長(zhǎng)的神經(jīng)元數(shù)量gr·h_r＝0，且無需要?jiǎng)h減的神經(jīng)元時(shí)，則代表著神經(jīng)網(wǎng)絡(luò)的成長(zhǎng)成熟，停止增長(zhǎng)。