[發(fā)明專利]基于憶阻器實(shí)現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò)競(jìng)爭(zhēng)學(xué)習(xí)機(jī)制的方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010768028.5
• 申請(qǐng)日: 2020-08-03
• 公開（公告）號(hào): CN111882064A
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計(jì)）人: 王蕾;曲連華;李石明;康子揚(yáng);田爍;陳小帆;丁東;馮權(quán)友;趙振宇;徐煒遐
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍國(guó)防科技大學(xué)
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/06
• 代理公司: 湖南兆弘專利事務(wù)所(普通合伙) 43008
• 代理人: 譚武藝

本發(fā)明公開了一種基于憶阻器實(shí)現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò)競(jìng)爭(zhēng)學(xué)習(xí)機(jī)制的方法及系統(tǒng)，本發(fā)明方法中脈沖神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)層的激活型神經(jīng)元從輸入層接收脈沖并在STDP的規(guī)則下進(jìn)行學(xué)習(xí)時(shí)，還包括通過(guò)基于憶阻器實(shí)現(xiàn)的突觸與一個(gè)或多個(gè)激活型神經(jīng)元相連的抑制型神經(jīng)元執(zhí)行橫向抑制的步驟：若抑制型神經(jīng)元被來(lái)自突觸的電流激活，則抑制型神經(jīng)元通過(guò)突觸向所連接的激活型神經(jīng)元發(fā)送抑制型脈沖以實(shí)現(xiàn)橫向抑制。本發(fā)明采用憶阻器來(lái)作為突觸來(lái)實(shí)現(xiàn)橫向抑制和平衡機(jī)制，可提高網(wǎng)絡(luò)的可擴(kuò)展性，并有效利用憶阻器的固有器件優(yōu)勢(shì)降低非監(jiān)督SNN網(wǎng)絡(luò)實(shí)現(xiàn)的硬件復(fù)雜度和功耗。

技術(shù)領(lǐng)域

本發(fā)明涉及脈沖神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)技術(shù)，具體涉及一種基于憶阻器實(shí)現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò)競(jìng)爭(zhēng)學(xué)習(xí)機(jī)制的方法及系統(tǒng)。

背景技術(shù)

脈沖神經(jīng)網(wǎng)絡(luò)（spiking neural network, SNN）是一種仿生性的神經(jīng)網(wǎng)絡(luò)模型，在實(shí)現(xiàn)低功耗、高效率的智能系統(tǒng)上具有廣闊的前景。

SNN的基本組成單元包括脈沖神經(jīng)元（spiking neuron）和突觸（synapse），脈沖神經(jīng)元是計(jì)算單元，突觸是脈沖神經(jīng)元之間的連接，也是神經(jīng)元之間傳遞信息的通道，傳遞信息的載體是脈沖信號(hào)（spike），脈沖信號(hào)由一個(gè)神經(jīng)元發(fā)出經(jīng)過(guò)突觸傳達(dá)到另外一個(gè)神經(jīng)元。脈沖神經(jīng)元通過(guò)突觸接收來(lái)自其他脈沖神經(jīng)元的脈沖信號(hào)，通過(guò)自身動(dòng)態(tài)方程的計(jì)算得到新的神經(jīng)元狀態(tài)，當(dāng)神經(jīng)元的狀態(tài)變量超過(guò)一定的閾值就會(huì)進(jìn)入激活狀態(tài)，并向外發(fā)射一次脈沖信號(hào)；突觸是神經(jīng)元之間的連接，可以將前級(jí)神經(jīng)元發(fā)送出來(lái)的脈沖信號(hào)傳遞給后級(jí)，根據(jù)接受到脈沖信號(hào)后給后級(jí)神經(jīng)元帶來(lái)的作用，突觸可以分為激活型突觸和突觸，激活型突觸接受到前級(jí)脈沖信號(hào)后會(huì)對(duì)后級(jí)神經(jīng)元產(chǎn)生正向的激勵(lì)作用，促使其激活；相反，突觸在接受到前級(jí)脈沖信號(hào)后會(huì)對(duì)后級(jí)神經(jīng)元產(chǎn)生反向的抑制作用，抑制其激活。另外，因?yàn)橥挥|傳遞脈沖信號(hào)的能力有差異，就會(huì)在前級(jí)脈沖信號(hào)上施加一個(gè)倍數(shù)因子再傳遞給后級(jí)神經(jīng)元，突觸傳遞脈沖信號(hào)強(qiáng)弱的能力稱之為權(quán)重（weight）。

脈沖神經(jīng)元通過(guò)突觸相互連接構(gòu)成網(wǎng)絡(luò)，網(wǎng)絡(luò)可以接收外界輸入脈沖信號(hào)并產(chǎn)生響應(yīng)，通常情況下，輸入不同網(wǎng)絡(luò)中脈沖神經(jīng)元的響應(yīng)是不同的，或者說(shuō)神經(jīng)元的狀態(tài)是不同的。SNN接收來(lái)自外界輸入產(chǎn)生不同響應(yīng)的模型可以用公式（1）表示：

z= f(x) （1）

上式中，x代表輸入脈沖信號(hào)，z代表SNN的響應(yīng)，f(x)就是SNN網(wǎng)絡(luò)對(duì)輸入脈沖信號(hào)x的處理或者說(shuō)映射。

SNN最常見的應(yīng)用是分類，給SNN輸入不同的種類的激勵(lì)，通過(guò)判斷SNN的響應(yīng)可以推斷出輸入激勵(lì)的種類，相同類別的輸入激勵(lì)通過(guò)SNN后可以產(chǎn)生相同的輸出響應(yīng)，不同的類別的輸入激勵(lì)通過(guò)SNN后產(chǎn)生不同的響應(yīng)，從而實(shí)現(xiàn)分類任務(wù)，或者說(shuō)模式識(shí)別（patternrecognition）。SNN的這種分類能力是由整個(gè)網(wǎng)絡(luò)的突觸構(gòu)建的，因?yàn)橥挥|都是有權(quán)重的，包括輸入連接到SNN網(wǎng)絡(luò)的突觸都是有權(quán)重的，所以不同的輸入會(huì)在SNN中產(chǎn)生不同的響應(yīng)。

SNN模型有多種網(wǎng)絡(luò)結(jié)構(gòu)模型，其中一種是前向傳播網(wǎng)絡(luò)結(jié)構(gòu)（feed-forwardneural network， FNN），F(xiàn)NN結(jié)構(gòu)的SNN是一種分層結(jié)構(gòu)，每一層有一定數(shù)量的脈沖神經(jīng)元，相鄰層之間通過(guò)突觸連接，連接的形式又分為全連接和卷積連接。全連接是指后級(jí)的神經(jīng)元與前一層所有的神經(jīng)元都有突觸連接，接收淺層所有神經(jīng)元發(fā)來(lái)的脈沖信號(hào)，進(jìn)行信息整合；在卷積連接結(jié)構(gòu)中，后級(jí)的神經(jīng)元只與前一層部分神經(jīng)元有連接，這部分神經(jīng)元在空間位置上是相鄰的，通常是在3X3或4X4這樣的網(wǎng)格中，這個(gè)網(wǎng)格也稱之為感受野（receptive filed, RF），且不同的后級(jí)神經(jīng)元接收來(lái)自不同位置RF的前級(jí)神經(jīng)元的脈沖。

具有一定網(wǎng)絡(luò)結(jié)構(gòu)和突觸連接的SNN 還不具備學(xué)習(xí)能力， 不能實(shí)現(xiàn)特定的應(yīng)用，實(shí)現(xiàn)SNN的學(xué)習(xí)能力需要有學(xué)習(xí)算法來(lái)訓(xùn)練SNN。所謂的訓(xùn)練時(shí)指調(diào)整神經(jīng)元之間連接的權(quán)值，使得網(wǎng)絡(luò)整體的權(quán)值代表的模式是對(duì)特定類別的輸入有選擇性的。