[發(fā)明專利]脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、數(shù)據(jù)處理方法、電子設(shè)備和介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110018629.9
• 申請日: 2021-01-07
• 公開（公告）號: CN112734012A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計）人: 吳臻志;張啟坤;王紅偉
• 申請（專利權(quán)）人: 北京靈汐科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京天昊聯(lián)合知識產(chǎn)權(quán)代理有限公司 11112
• 代理人: 彭瑞欣;柴亮

本公開提供了一種脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，包括：將訓(xùn)練樣本對應(yīng)的脈沖信號輸入至待訓(xùn)練的脈沖神經(jīng)網(wǎng)絡(luò)中；基于反向傳播規(guī)則對脈沖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；其中，在訓(xùn)練的前向傳播階段，包括：根據(jù)訓(xùn)練樣本在目標(biāo)層的置信度對目標(biāo)層的脈沖發(fā)放閾值進(jìn)行調(diào)整。本公開還提供了一種基于脈沖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法、電子設(shè)備和計算機可讀介質(zhì)。

技術(shù)領(lǐng)域

本公開涉及計算機技術(shù)領(lǐng)域，特別涉及一種脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、基于脈沖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法、電子設(shè)備和計算機可讀介質(zhì)。

背景技術(shù)

相比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，脈沖神經(jīng)網(wǎng)絡(luò)(Spiking Neuron Network，簡稱SNN)由于其更貼合實際的仿生設(shè)計，被廣泛應(yīng)用于模式識別、圖像處理和計算機視覺等多個領(lǐng)域。現(xiàn)階段，在利用反向傳播(Back Propagation，簡稱BP)規(guī)則進(jìn)行訓(xùn)練時，脈沖神經(jīng)網(wǎng)絡(luò)的稀疏性會導(dǎo)致其在訓(xùn)練過程中，較容易出現(xiàn)梯度消失或梯度爆炸的情況，使得基于該規(guī)則進(jìn)行訓(xùn)練較為困難。

發(fā)明內(nèi)容

本公開提供一種脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、基于脈沖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法、電子設(shè)備和計算機可讀介質(zhì)。

第一方面，本公開提供了一種脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，包括：

將訓(xùn)練樣本對應(yīng)的脈沖信號輸入至待訓(xùn)練的脈沖神經(jīng)網(wǎng)絡(luò)中；

基于反向傳播規(guī)則對所述脈沖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；其中，在訓(xùn)練的前向傳播階段，包括：根據(jù)所述訓(xùn)練樣本在目標(biāo)層的置信度對所述目標(biāo)層的脈沖發(fā)放閾值進(jìn)行調(diào)整。

第二方面，本公開提供了一種基于脈沖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法，包括：

獲取待處理數(shù)據(jù)對應(yīng)的脈沖信號；

通過脈沖神經(jīng)網(wǎng)絡(luò)對所述脈沖信號進(jìn)行處理，并輸出處理結(jié)果；其中，在處理過程中，包括：根據(jù)所述待處理數(shù)據(jù)在目標(biāo)層的置信度對所述目標(biāo)層的脈沖發(fā)放閾值進(jìn)行調(diào)整，所述脈沖神經(jīng)網(wǎng)絡(luò)是基于上述脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法訓(xùn)練得到的。

第三方面，本公開提供了一種電子設(shè)備，包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)上述的脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法或者基于脈沖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法。

第四方面，本公開提供了一種計算機可讀介質(zhì)，其上存儲有計算機程序，其中，所述計算機程序在被處理器執(zhí)行時實現(xiàn)上述的脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法中的步驟或者基于脈沖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法中的步驟。

本公開所提供的脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、基于脈沖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法、電子設(shè)備和計算機可讀介質(zhì)，在基于反向傳播規(guī)則對脈沖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時，通過在訓(xùn)練的前向傳播階段，針對目標(biāo)層，根據(jù)訓(xùn)練樣本在該層的置信度對其脈沖發(fā)放閾值進(jìn)行調(diào)整，由此實現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò)在基于反向傳播規(guī)則訓(xùn)練時能夠自適應(yīng)地進(jìn)行門限調(diào)整，便于訓(xùn)練，提升訓(xùn)練效率。

應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識本公開的實施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用來提供對本公開的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本公開的實施例一起用于解釋本公開，并不構(gòu)成對本公開的限制。通過參考附圖對詳細(xì)示例實施例進(jìn)行描述，以上和其他特征和優(yōu)點對本領(lǐng)域技術(shù)人員將變得更加顯而易見，在附圖中：

圖1為本公開實施例提供的一種脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的流程圖；

圖2為圖1所示的脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法中前向傳播階段的流程圖；

圖3為本公開實施例中步驟S3的一種具體實施方法流程圖；