[發(fā)明專利]一種基于重加權(quán)膜電壓的卷積脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011520139.0
• 申請(qǐng)日: 2020-12-21
• 公開(kāi)（公告）號(hào): CN112633497B
• 公開(kāi)（公告）日: 2023-08-18
• 發(fā)明（設(shè)計(jì)）人: 賴劍煌;唐建雄;謝曉華
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/06;G06N3/0464;G06N3/063
• 代理公司: 深圳市創(chuàng)富知識(shí)產(chǎn)權(quán)代理有限公司 44367
• 代理人: 李思坪

本發(fā)明公開(kāi)了一種基于重加權(quán)膜電壓的卷積脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，該方法包括：獲取輸入圖像并進(jìn)行預(yù)處理，得到脈沖序列；基于重加權(quán)膜電壓構(gòu)建卷積脈沖神經(jīng)網(wǎng)絡(luò)的脈沖神經(jīng)元；根據(jù)輸入圖像的規(guī)模設(shè)置卷積脈沖神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)；對(duì)脈沖神經(jīng)元的輸入刺激進(jìn)行歸一化處理；構(gòu)建損失函數(shù)并基于時(shí)空反向傳播算法對(duì)卷積脈沖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；將脈沖序列輸入到訓(xùn)練完成的卷積脈沖神經(jīng)網(wǎng)絡(luò)，得到輸出結(jié)果。本發(fā)明可直接計(jì)算脈沖神經(jīng)元的輸出關(guān)于膜電壓的梯度,且梯度會(huì)根據(jù)累積的膜電壓值動(dòng)態(tài)調(diào)整，改善了SNN訓(xùn)練過(guò)程中梯度不匹配問(wèn)題。本發(fā)明作為一種基于重加權(quán)膜電壓的卷積脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，可廣泛應(yīng)用于脈沖神經(jīng)網(wǎng)絡(luò)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明屬于脈沖神經(jīng)網(wǎng)絡(luò)領(lǐng)域，尤其涉及一種基于重加權(quán)膜電壓的卷積脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法。

背景技術(shù)

脈沖神經(jīng)網(wǎng)絡(luò)(Spiking?Neural?Network,SNN)是一種基于模仿生物神經(jīng)元放電機(jī)制的一種神經(jīng)網(wǎng)絡(luò)模型。由于其能夠有效地處理離散的時(shí)空事件，在低功耗設(shè)備上具有廣闊的應(yīng)用場(chǎng)景。目前，學(xué)習(xí)SNN的方法可以歸納為兩類，第一類方法是將預(yù)先訓(xùn)練好的人工神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為對(duì)應(yīng)的SNN，第二類方法是直接基于訓(xùn)練數(shù)據(jù)訓(xùn)練SNN。第一類方法得到的SNN相比于其他方法能夠獲得更好的分類準(zhǔn)確度，這主要得益于預(yù)訓(xùn)練得到的人工神經(jīng)網(wǎng)絡(luò)(Artificial?Neural?Network,ANN)的良好的泛化性能。然而該類方法在分類任務(wù)上的良好表現(xiàn)建立在龐大的推理時(shí)間步之上，換句話說(shuō)，第一類方法需要在一個(gè)較大的時(shí)間窗內(nèi)處理輸入信號(hào)才能夠獲得良好的分類準(zhǔn)確度，推理效率較低，在低功耗硬件上具有一定的局限性。對(duì)于直接訓(xùn)練SNN，脈沖時(shí)間依賴可塑性(Spike?Timing?DependentPlasticity,STDP)，根據(jù)突觸前后脈沖到達(dá)的時(shí)序關(guān)系對(duì)突觸權(quán)重進(jìn)行調(diào)整，如果突觸前神經(jīng)元產(chǎn)生脈沖早于突觸后神經(jīng)元，說(shuō)明突觸前后神經(jīng)元存在因果關(guān)系，對(duì)應(yīng)的突觸權(quán)重增加，反之，權(quán)重值減小，但是該SNN在分類任務(wù)上的表現(xiàn)并不令人滿意。基于脈沖的反向傳播算法是直接訓(xùn)練SNN的另一種有效方法，然而，該類方法通常需要估計(jì)脈沖神經(jīng)元的輸出關(guān)于輸入的近端梯度，一定程度上增加了算法設(shè)計(jì)的復(fù)雜性。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題，本發(fā)明的目的是提供一種基于重加權(quán)膜電壓的卷積脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，與其他基于脈沖的反向傳播相比，本發(fā)明所提出的方法無(wú)需進(jìn)行專門的梯度估計(jì)，拓展性良好，容易復(fù)現(xiàn)。

本發(fā)明所采用的第一技術(shù)方案是：一種基于重加權(quán)膜電壓的卷積脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，包括以下步驟：

獲取輸入圖像并對(duì)輸入圖像進(jìn)行預(yù)處理，得到脈沖序列；

基于重加權(quán)膜電壓構(gòu)建卷積脈沖神經(jīng)網(wǎng)絡(luò)的脈沖神經(jīng)元；

根據(jù)輸入圖像的規(guī)模設(shè)置卷積脈沖神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)；

對(duì)脈沖神經(jīng)元的輸入刺激進(jìn)行歸一化處理；

構(gòu)建損失函數(shù)并基于時(shí)空反向傳播算法對(duì)卷積脈沖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練完成的卷積脈沖神經(jīng)網(wǎng)絡(luò)；

將脈沖序列輸入到訓(xùn)練完成的卷積脈沖神經(jīng)網(wǎng)絡(luò)，得到輸出結(jié)果。

進(jìn)一步，所述獲取輸入圖像并對(duì)輸入圖像進(jìn)行預(yù)處理這一步驟，其具體包括：

獲取輸入圖像并對(duì)輸入圖像每個(gè)通道的圖像進(jìn)行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化圖像；

對(duì)標(biāo)準(zhǔn)化圖像進(jìn)行脈沖編碼，得到脈沖序列。

進(jìn)一步，所述基于重加權(quán)膜電壓構(gòu)建卷積脈沖神經(jīng)網(wǎng)絡(luò)的脈沖神經(jīng)元這一步驟，其具體包括：

根據(jù)神經(jīng)動(dòng)力學(xué)模型構(gòu)建原始的脈沖神經(jīng)元；

對(duì)原始的脈沖神經(jīng)元的膜電壓進(jìn)行重加權(quán)處理，將其大小約束為0或1后作為脈沖神經(jīng)元的輸出，得到卷積脈沖神經(jīng)網(wǎng)絡(luò)的脈沖神經(jīng)。