[發(fā)明專利]一種任務(wù)拆分式脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測(cè)及網(wǎng)絡(luò)抗干擾方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010280453.X
• 申請(qǐng)日: 2020-04-10
• 公開(kāi)（公告）號(hào): CN111476367B
• 公開(kāi)（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 李凡;匡平;鄭庭穎;何明耘;徐翔
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06N3/088
• 分類號(hào): G06N3/088;G06N3/049;G06V10/82;G06V10/774;G06V10/764
• 代理公司: 北京眾合誠(chéng)成知識(shí)產(chǎn)權(quán)代理有限公司 11246
• 代理人: 劉妮

本發(fā)明公開(kāi)了圖像識(shí)別領(lǐng)域的一種任務(wù)拆分式脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測(cè)及網(wǎng)絡(luò)抗干擾方法，所述的方法的包括以下步驟：1)任務(wù)拆分式脈沖神經(jīng)網(wǎng)絡(luò)TEN的搭建；2)TEN網(wǎng)絡(luò)配合權(quán)重圖像化比較WGC預(yù)測(cè)方案進(jìn)行模型訓(xùn)練；3)對(duì)模型訓(xùn)練得到的權(quán)重進(jìn)行增強(qiáng)處理。在無(wú)監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)方面，提出任務(wù)拆分的網(wǎng)絡(luò)組織思想，通過(guò)將一個(gè)完整網(wǎng)絡(luò)拆分為若干子網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)一個(gè)較大分類任務(wù)的單任務(wù)拆分，使得每個(gè)子網(wǎng)絡(luò)分別學(xué)習(xí)一個(gè)不同的類別特征，顯著提升網(wǎng)絡(luò)對(duì)所有類別的模式學(xué)習(xí)效果和網(wǎng)絡(luò)的分類表現(xiàn)。通過(guò)對(duì)權(quán)重添加若干組干擾顯著提升了TEN網(wǎng)絡(luò)的抗干擾性和魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識(shí)別技術(shù)領(lǐng)域，具體為一種任務(wù)拆分式脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測(cè)及網(wǎng)絡(luò)抗干擾方法。

背景技術(shù)

為了實(shí)現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò)(Spiking?Neural?Network，SNN)在MNIST上面的無(wú)監(jiān)督圖像識(shí)別任務(wù)，PeterU.Diehl和Matthew?Cook在2015年設(shè)計(jì)并提出了一種基于STDP的SNN無(wú)監(jiān)督學(xué)習(xí)算法，即一種基于能夠在神經(jīng)形態(tài)芯片(neuromorphic?chips)上部署的生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和機(jī)制(LIF神經(jīng)元，電導(dǎo)突觸，指數(shù)型動(dòng)態(tài)特性，橫向抑制，可調(diào)節(jié)發(fā)射閾值)的STDP無(wú)監(jiān)督學(xué)習(xí)SNN神經(jīng)網(wǎng)絡(luò)算法，6400個(gè)神經(jīng)元實(shí)現(xiàn)對(duì)MNIST數(shù)據(jù)集95％的識(shí)別分類精度。為了方便我們稱Diehl和Cook所提出的網(wǎng)絡(luò)結(jié)構(gòu)和算法為DC網(wǎng)絡(luò)。包括神經(jīng)元和突觸模型、網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)機(jī)制、學(xué)習(xí)平衡性、輸入編碼、分類。

Diehl和Cook提出的方案使得基于脈沖神經(jīng)元的網(wǎng)絡(luò)成功用于了圖像識(shí)別領(lǐng)域，且具有良好的規(guī)模可伸縮性，網(wǎng)絡(luò)的準(zhǔn)確度是可以隨規(guī)模增大提升的(但是有一定上限)，100/400/1600/6400個(gè)興奮性神經(jīng)元對(duì)應(yīng)的預(yù)測(cè)精度分別為82.9％/87.0％/91.9％/95.0％。但其仍有較明顯的局限性，具體包括：

神經(jīng)元數(shù)量的優(yōu)勢(shì)尚未發(fā)揮出來(lái)。

這種方案使興奮層中的單個(gè)神經(jīng)元能夠?qū)W習(xí)獨(dú)特的數(shù)據(jù)表示，或者說(shuō)是一種圖像模式。神經(jīng)元將其學(xué)到的模式編碼進(jìn)連接其的突觸權(quán)重中(通過(guò)STDP規(guī)則學(xué)習(xí)得到)，這種神經(jīng)元-突觸的組合類似一個(gè)“過(guò)濾器”，因?yàn)樗锌赡茼憫?yīng)與自身學(xué)習(xí)的模式相近的圖像。模式的學(xué)習(xí)是建立在整張圖像級(jí)別上的。

由于網(wǎng)絡(luò)將所有標(biāo)簽樣本整合到一起進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，對(duì)于模式簡(jiǎn)單的數(shù)字圖像學(xué)習(xí)較為容易，會(huì)有較多的神經(jīng)元學(xué)習(xí)到類似的模式，使得某些神經(jīng)元學(xué)習(xí)到重復(fù)冗余的模式，浪費(fèi)了神經(jīng)元數(shù)量的優(yōu)勢(shì)。此外對(duì)于模式復(fù)雜的數(shù)字圖像，神經(jīng)元很難以在無(wú)監(jiān)督環(huán)境充分提取到原型特征，使得學(xué)習(xí)到模式較為模糊和散亂，不能保證有神經(jīng)元能夠?qū)ζ溆谐掷m(xù)的響應(yīng)，從而浪費(fèi)了較多復(fù)雜模式樣本。

由于在每一時(shí)間步只允許一個(gè)神經(jīng)元脈沖，則在某一神經(jīng)元正在學(xué)習(xí)模式的時(shí)候，即該神經(jīng)元收輸入激發(fā)脈沖時(shí)，其余神經(jīng)元因抑制作用只能等待。即是每一個(gè)樣本只能激發(fā)一個(gè)神經(jīng)元的持續(xù)響應(yīng)，這種學(xué)習(xí)方式是典型的串行性學(xué)習(xí)，網(wǎng)絡(luò)幾乎沒(méi)有并行性學(xué)習(xí)能力。又因?yàn)闄?quán)重更新只在神經(jīng)元脈沖時(shí)才啟動(dòng)，即每一時(shí)間步僅有一個(gè)一個(gè)神經(jīng)元的連接突觸權(quán)重接受更新，學(xué)習(xí)效率低下。

在原始工作中，Diehl和Cook說(shuō)明了每一組神經(jīng)元個(gè)數(shù)的學(xué)習(xí)輪次(epoch)，即需要重復(fù)輸入訓(xùn)練集的次數(shù)，輪次的設(shè)置如下表所示：

表1各神經(jīng)元個(gè)數(shù)的DC網(wǎng)絡(luò)訓(xùn)練所需輪次

如表可見(jiàn)，當(dāng)網(wǎng)絡(luò)規(guī)模增大時(shí)，網(wǎng)絡(luò)訓(xùn)練耗時(shí)增長(zhǎng)迅速，訓(xùn)練效率也越發(fā)緩慢。

基于此，本發(fā)明設(shè)計(jì)了一種任務(wù)拆分式脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測(cè)及網(wǎng)絡(luò)抗干擾方法，以解決上述提到的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種任務(wù)拆分式脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測(cè)及網(wǎng)絡(luò)抗干擾方法，以解決上述背景技術(shù)中提出的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種任務(wù)拆分式脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測(cè)及網(wǎng)絡(luò)抗干擾方法，所述的方法的包括以下步驟：