[發(fā)明專利]一種基于重加權(quán)膜電壓的卷積脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法

有效

• 申請?zhí)枺?/td>: 202011520139.0
• 申請日: 2020-12-21
• 公開（公告）號: CN112633497B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計）人: 賴劍煌;唐建雄;謝曉華
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/06;G06N3/0464;G06N3/063
• 代理公司: 深圳市創(chuàng)富知識產(chǎn)權(quán)代理有限公司 44367
• 代理人: 李思坪

1.一種基于重加權(quán)膜電壓的卷積脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，其特征在于，包括以下步驟：

獲取輸入圖像并對輸入圖像進行預(yù)處理，得到脈沖序列；

基于重加權(quán)膜電壓構(gòu)建卷積脈沖神經(jīng)網(wǎng)絡(luò)的脈沖神經(jīng)元；

根據(jù)輸入圖像的規(guī)模設(shè)置卷積脈沖神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)；

對脈沖神經(jīng)元的輸入刺激進行歸一化處理；

構(gòu)建損失函數(shù)并基于時空反向傳播算法對卷積脈沖神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到訓(xùn)練完成的卷積脈沖神經(jīng)網(wǎng)絡(luò)；

將脈沖序列輸入到訓(xùn)練完成的卷積脈沖神經(jīng)網(wǎng)絡(luò)，得到輸出結(jié)果；

所述基于重加權(quán)膜電壓構(gòu)建卷積脈沖神經(jīng)網(wǎng)絡(luò)的脈沖神經(jīng)元這一步驟，其具體包括：

根據(jù)神經(jīng)動力學(xué)模型構(gòu)建原始的脈沖神經(jīng)元；

對原始的脈沖神經(jīng)元的膜電壓進行重加權(quán)處理，將其大小約束為0或1后作為脈沖神經(jīng)元的輸出，得到卷積脈沖神經(jīng)網(wǎng)絡(luò)的脈沖神經(jīng)；

在第n層網(wǎng)絡(luò)的第f張?zhí)卣鲌D的位置(i,j)，所述基于重加權(quán)膜電壓構(gòu)建卷積脈沖神經(jīng)網(wǎng)絡(luò)的脈沖神經(jīng)元具體如下：

上式中，τ表示膜電壓的衰減因子，n表示第n層網(wǎng)絡(luò)，t表示時間窗T內(nèi)的第t個時刻，V_th表示閾值電壓，*表示卷積操作，R(i,j)表示位置(i,j)的局部感受野,表示連接n-1層網(wǎng)絡(luò)的第c個特征圖與n層網(wǎng)絡(luò)的第f個特征圖之間的卷積核，表示脈沖輸出，表示第t個時刻的輸入刺激，表示在前t個時刻累積的膜電壓；

隨后，將超出V_th的代替作為神經(jīng)元的輸出，即：

表示點積運算，通過對和進行點積運算，使得中超出閾值電壓的成員被保留，未超出閾值電壓的成員將置為0，對的每個成員進行權(quán)重調(diào)整，使其輸出逼近真實的脈沖，即：

ε是足夠小的正數(shù)，防止分母為0，此外，是與相等的常數(shù)，使得上式中的分母不參與梯度計算，且當(dāng)時，能夠逼近真實脈沖，即值接近于1。

2.根據(jù)權(quán)利要求1所述一種基于重加權(quán)膜電壓的卷積脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，其特征在于，所述獲取輸入圖像并對輸入圖像進行預(yù)處理這一步驟，其具體包括：

獲取輸入圖像并對輸入圖像每個通道的圖像進行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化圖像；

對標(biāo)準(zhǔn)化圖像進行脈沖編碼，得到脈沖序列。

3.根據(jù)權(quán)利要求2所述一種基于重加權(quán)膜電壓的卷積脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，其特征在于，所述根據(jù)輸入圖像的規(guī)模設(shè)置卷積脈沖神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)這一步驟，其具體包括：

根據(jù)輸入圖像的數(shù)據(jù)規(guī)模以及任務(wù)的復(fù)雜程度，設(shè)置卷積脈沖神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)，每層網(wǎng)絡(luò)的特征圖數(shù)、卷積核大小、各層權(quán)重的初始分布狀態(tài)以及閾值膜電壓。

4.根據(jù)權(quán)利要求3所述一種基于重加權(quán)膜電壓的卷積脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，其特征在于，所述對脈沖神經(jīng)元的輸入刺激進行歸一化處理，具體公式如下：

上式中，I^t,n第n層網(wǎng)絡(luò)在t時刻的整體輸入刺激，表示I^t,n的第f張?zhí)卣鲌D(i,j)位置的成員，F(xiàn)ⁿ表示第n層網(wǎng)絡(luò)的特征圖總數(shù)，hⁿ表示特征圖的高度，wⁿ為特征圖寬度，μ^t,n表示均值，σ^t,n表示方差，表示歸一化后的整體輸入刺激。

5.根據(jù)權(quán)利要求4所述一種基于重加權(quán)膜電壓的卷積脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，其特征在于，所述構(gòu)建損失函數(shù)并基于時空反向傳播算法對卷積脈沖神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到訓(xùn)練完成的卷積脈沖神經(jīng)網(wǎng)絡(luò)這一步驟，其具體包括：

構(gòu)建描述網(wǎng)絡(luò)輸出以及樣本真實標(biāo)簽的損失函數(shù)，基于時空反向傳播算法，從時間、空間兩個方向上對卷積脈沖神經(jīng)網(wǎng)絡(luò)的參數(shù)進行誤差估計；

根據(jù)誤差估計對卷積脈沖神經(jīng)網(wǎng)絡(luò)隔層的突觸權(quán)重進行更新，得到訓(xùn)練完成的卷積脈沖神經(jīng)網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求5所述一種基于重加權(quán)膜電壓的卷積脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，其特征在于，所述訓(xùn)練完成的卷積脈沖神經(jīng)網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層。