[發(fā)明專利]空時(shí)域脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、芯片及電子產(chǎn)品

在審

• 申請(qǐng)?zhí)枺?/td>: 202210174051.0
• 申請(qǐng)日: 2022-02-24
• 公開（公告）號(hào): CN114565079A
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 菲利克斯·克里斯·琴鮑爾;賽義德·哈格哈特舒爾;格雷戈?duì)枴惔?/a>;西克·薩迪克·尤艾爾阿明;喬寧;邢雁南;凌于雅
• 申請(qǐng)（專利權(quán)）人: 深圳時(shí)識(shí)科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06N3/06
• 代理公司: 深圳紫藤知識(shí)產(chǎn)權(quán)代理有限公司 44570
• 代理人: 李晨幼

1.一種空時(shí)域脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，該脈沖神經(jīng)網(wǎng)絡(luò)包括多個(gè)層，其特征在于，該方法包括如下步驟：

從訓(xùn)練數(shù)據(jù)集中接收一批樣本數(shù)據(jù)，并將該一批樣本數(shù)據(jù)作為脈沖神經(jīng)網(wǎng)絡(luò)的輸入，運(yùn)行該脈沖神經(jīng)網(wǎng)絡(luò)并獲得脈沖神經(jīng)網(wǎng)絡(luò)的輸出；

根據(jù)脈沖神經(jīng)網(wǎng)絡(luò)的輸出，計(jì)算當(dāng)前網(wǎng)絡(luò)損失；

從脈沖神經(jīng)網(wǎng)絡(luò)的輸出層為當(dāng)前層開始，依照層的倒序，依次計(jì)算當(dāng)前網(wǎng)絡(luò)損失關(guān)于當(dāng)前層與前一層之間的突觸權(quán)重矩陣的梯度，直至當(dāng)前網(wǎng)絡(luò)損失關(guān)于輸入擴(kuò)張矩陣的梯度；

通過(guò)當(dāng)前網(wǎng)絡(luò)損失關(guān)于突觸權(quán)重矩陣的梯度，更新脈沖神經(jīng)網(wǎng)絡(luò)的突觸權(quán)重矩陣；

其中，在計(jì)算當(dāng)前網(wǎng)絡(luò)損失關(guān)于當(dāng)前層與前一層之間的突觸權(quán)重矩陣的梯度前：在每個(gè)時(shí)間步下，計(jì)算當(dāng)前網(wǎng)絡(luò)損失關(guān)于當(dāng)前層的權(quán)重化的后突觸輸入的第二梯度；

并在計(jì)算以某個(gè)時(shí)間步為當(dāng)前時(shí)間步的第二梯度前：基于當(dāng)前層和當(dāng)前時(shí)間步，帶入代理梯度函數(shù)，將獲得的代理梯度函數(shù)的值，作為當(dāng)前時(shí)間步對(duì)應(yīng)的第一變量的第一元素值；在計(jì)算當(dāng)前時(shí)間步對(duì)應(yīng)的第一變量的后一元素值時(shí)，基于當(dāng)前時(shí)間步對(duì)應(yīng)的第一變量的前一元素值，由此獲得當(dāng)前時(shí)間步對(duì)應(yīng)的第一變量的全部元素值。

2.根據(jù)權(quán)利要求1所述的一種空時(shí)域脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：

所述第一變量的定義如下：

其中，為第l層網(wǎng)絡(luò)在第n時(shí)間步對(duì)應(yīng)的第一變量的一個(gè)元素值，是當(dāng)前時(shí)間步對(duì)應(yīng)的第一變量的第一元素值；v是不應(yīng)期核；“*”是卷積操作；f′^(l)[·]是第l層網(wǎng)絡(luò)的代理梯度函數(shù)；l是當(dāng)前層的序號(hào)。

3.根據(jù)權(quán)利要求2所述的一種空時(shí)域脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：

所述第二梯度的定義如下：

其中，d^(l)[n]為第l層網(wǎng)絡(luò)在第n時(shí)間步的第二梯度；∈是脈沖響應(yīng)核；⊙為互相關(guān)操作；e^(l)[·]是當(dāng)前網(wǎng)絡(luò)損失關(guān)于第l層網(wǎng)絡(luò)輸出脈沖響應(yīng)信號(hào)的第一梯度；n為時(shí)間步序號(hào)，且n＝1,2,…,T，其中T為時(shí)間步的總長(zhǎng)度。

4.根據(jù)權(quán)利要求3所述的一種空時(shí)域脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：

所述第一梯度的定義如下：

當(dāng)l＝L時(shí)，

當(dāng)l∈{1,…,L-1}時(shí)，e^(l)[n]＝d^(l+1)[n]W^(l)；

其中，W^(l)是第l層網(wǎng)絡(luò)與第l+1層網(wǎng)絡(luò)之間的突觸權(quán)重矩陣；a^(L)是第L層網(wǎng)絡(luò)的輸出脈沖序列與脈沖響應(yīng)核卷積的結(jié)果；是當(dāng)前網(wǎng)絡(luò)損失。

5.根據(jù)權(quán)利要求4所述的一種空時(shí)域脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：

計(jì)算當(dāng)前網(wǎng)絡(luò)損失關(guān)于當(dāng)前層與前一層之間的突觸權(quán)重矩陣W^(l-1)的梯度的方式為：

其中，為轉(zhuǎn)置標(biāo)記。

6.根據(jù)權(quán)利要求5所述的一種空時(shí)域脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：

在計(jì)算當(dāng)前網(wǎng)絡(luò)損失關(guān)于當(dāng)前層與前一層之間的突觸權(quán)重矩陣的梯度后，若l∈{2,…,L}，則將網(wǎng)絡(luò)的層反向前移一層，即將前移后的層作為當(dāng)前層，并針對(duì)新的當(dāng)前層，計(jì)算當(dāng)前網(wǎng)絡(luò)損失關(guān)于當(dāng)前層與前一層之間的突觸權(quán)重矩陣的梯度；若l＝1，則通過(guò)網(wǎng)絡(luò)損失關(guān)于突觸權(quán)重矩陣的梯度，來(lái)更新網(wǎng)絡(luò)突觸權(quán)重矩陣。

7.根據(jù)權(quán)利要求1-6任意一項(xiàng)所述的空時(shí)域脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：所述脈沖神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元為L(zhǎng)IF神經(jīng)元或IAF神經(jīng)元。

8.根據(jù)權(quán)利要求1-6任意一項(xiàng)所述的一種空時(shí)域脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：所述樣本數(shù)據(jù)為視覺(jué)、聽覺(jué)、觸覺(jué)、嗅覺(jué)、心電、肌電、震動(dòng)、IMU類型的信號(hào)中的一種或多種。

9.一種存儲(chǔ)介質(zhì)，該存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)代碼，其特征在于：通過(guò)執(zhí)行該計(jì)算機(jī)代碼，以實(shí)現(xiàn)權(quán)利要求1-8任意一項(xiàng)所述的空時(shí)域脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。