[發(fā)明專利]一種脈沖神經(jīng)網(wǎng)絡(luò)的多層訓(xùn)練算法

有效

• 申請?zhí)枺?/td>: 201910100113.1
• 申請日: 2019-01-31
• 公開（公告）號: CN109871940B
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計）人: 何虎;尚瑛杰
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/06;G06N3/067;G06N3/10
• 代理公司: 西安智大知識產(chǎn)權(quán)代理事務(wù)所 61215
• 代理人: 段俊濤

1.一種脈沖神經(jīng)網(wǎng)絡(luò)的多層訓(xùn)練系統(tǒng)，其特征在于，利用逐層訓(xùn)練的方式，允許層內(nèi)連接，并將權(quán)值訓(xùn)練和結(jié)構(gòu)訓(xùn)練相結(jié)合，銳化數(shù)據(jù)之間的關(guān)聯(lián)性，具體訓(xùn)練包括以下步驟：

1)數(shù)據(jù)預(yù)處理模塊：將輸入數(shù)據(jù)通過轉(zhuǎn)換函數(shù)，根據(jù)算法定義的脈沖編碼規(guī)則轉(zhuǎn)化為脈沖序列，作為脈沖神經(jīng)網(wǎng)絡(luò)的輸入，所述輸入數(shù)據(jù)為MNIST手寫體數(shù)字圖片，圖片尺寸為28*28；

其中數(shù)據(jù)預(yù)處理模塊包括：

卷積層：用于提取圖像特征，卷積層的卷積核由4個尺寸為4*4固定的卷積核組成，分別對圖像數(shù)據(jù)橫、豎、左斜和右斜四個方向的特征進(jìn)行提取，卷積處理后的圖片尺寸為25*25*4；

池化層：降低數(shù)據(jù)量和銳化特征，池化層尺寸為2*2，池化后的尺寸為12*12*4；

每張圖片對應(yīng)一組脈沖序列，每組脈沖序列為12*12*4＝576個；

2)網(wǎng)絡(luò)層初始化模塊：根據(jù)配置文件，設(shè)置脈沖神經(jīng)網(wǎng)絡(luò)層數(shù)、每層神經(jīng)元數(shù)量和層內(nèi)神經(jīng)元分布狀態(tài)；

3)層間結(jié)構(gòu)預(yù)訓(xùn)練模塊：在初始網(wǎng)絡(luò)中，網(wǎng)絡(luò)層間不設(shè)置連接，層間連接采用逐層遞推的方式生成；

4)層間權(quán)值歸一化模塊：為避免數(shù)據(jù)差異對網(wǎng)絡(luò)性能的影響，通過對層間權(quán)值的歸一化操作消除數(shù)據(jù)差異帶來的影響；

5)層內(nèi)結(jié)構(gòu)訓(xùn)練模塊：基于Hebb規(guī)則的核心思想，同時考慮神經(jīng)元位置因素，利用神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)訓(xùn)練算法，進(jìn)行網(wǎng)絡(luò)層內(nèi)的結(jié)構(gòu)訓(xùn)練；

6)網(wǎng)絡(luò)權(quán)值因果性訓(xùn)練模塊：基于STDP規(guī)則，對網(wǎng)絡(luò)權(quán)值進(jìn)行因果性調(diào)整，彌補(bǔ)結(jié)構(gòu)訓(xùn)練不足；

所述脈沖神經(jīng)網(wǎng)絡(luò)分為三層：輸入層、記憶層和輸出層，其中：

輸入層：為整個脈沖神經(jīng)網(wǎng)絡(luò)提供脈沖信號，輸入層神經(jīng)元數(shù)量為12*12*4＝576個，與輸入脈沖序列數(shù)量一致；輸入層到記憶層的連接，采用一對一的方式連接，該部分連接為固定連接，既不參與權(quán)值訓(xùn)練，也不參與結(jié)構(gòu)訓(xùn)練；

記憶層：脈沖信息的存儲體，為12*12*4＝576個神經(jīng)元的三維陣列，神經(jīng)元之間距離的最小單位記為1，在記憶層內(nèi)部無初始連接，只有在開啟仿真后，經(jīng)過輸入信號和學(xué)習(xí)算法的共同作用，記憶層內(nèi)部才會不斷生長出新的連接；

輸出層：共計10個神經(jīng)元，與圖片的10個標(biāo)簽值相對應(yīng)，記憶層與輸出層之間無初始連接，在每次仿真中，根據(jù)輸入數(shù)據(jù)的標(biāo)簽值選定對應(yīng)位置的輸出神經(jīng)元為目標(biāo)神經(jīng)元，然后根據(jù)算法，將記憶層中被激活的神經(jīng)元連接到目標(biāo)神經(jīng)元上。

2.根據(jù)權(quán)利要求1所述脈沖神經(jīng)網(wǎng)絡(luò)的多層訓(xùn)練系統(tǒng)，其特征在于，所述數(shù)據(jù)預(yù)處理模塊中，通過轉(zhuǎn)換函數(shù)，將輸入數(shù)據(jù)轉(zhuǎn)換為輸入層神經(jīng)元的脈沖發(fā)射時間，將一組輸入數(shù)據(jù)轉(zhuǎn)換出來的脈沖發(fā)射時間稱為一組脈沖序列，為了保證每一組的脈沖發(fā)射時間分布在統(tǒng)一的區(qū)間內(nèi)，定義如下歸一化操作：

其中，t為歸一化之前的脈沖發(fā)射時間，f(t)為歸一化之后的脈沖發(fā)射時間，min為這一組脈沖發(fā)射時間的最小值，max為這一組脈沖發(fā)射時間的最大值，T為歸一化后脈沖發(fā)射時間的最大值，經(jīng)過歸一化操作之后，每一組脈沖發(fā)射時間將分布在[0,T]的區(qū)間內(nèi)，為了表述方便，將輸入數(shù)據(jù)最大理論值記為M，輸入數(shù)據(jù)的值記為x；

所述的轉(zhuǎn)換函數(shù)為如下三種函數(shù)之一：

a)線性函數(shù)

linear:令t＝M–x，直接用M減去該輸入數(shù)據(jù)的值，得到脈沖發(fā)送時間，那么輸入數(shù)據(jù)的值越高，得到的脈沖發(fā)射時間越小，即脈沖發(fā)射時間越靠前，然后，對t進(jìn)行歸一化操作，將歸一化后的f(t)作為最終輸出；

b)指數(shù)函數(shù)

exponential:令t＝2^-x，通過指數(shù)函數(shù)將輸入數(shù)據(jù)的值經(jīng)過放大，顯著地區(qū)分不同的數(shù)據(jù)值，然后，對t進(jìn)行歸一化操作，將歸一化后的f(t)作為最終輸出；

c)冪函數(shù)

power:令t＝(M-x)²，通過冪函數(shù)將輸入數(shù)值經(jīng)過放大，凸顯數(shù)據(jù)特征，然后，對t進(jìn)行歸一化操作，將歸一化后的f(t)作為最終輸出。

3.根據(jù)權(quán)利要求1所述脈沖神經(jīng)網(wǎng)絡(luò)的多層訓(xùn)練系統(tǒng)，其特征在于，所述數(shù)據(jù)預(yù)處理模塊中，將輸入數(shù)據(jù)轉(zhuǎn)化為脈沖序列過程中，根據(jù)數(shù)據(jù)類型和應(yīng)用需求添加特征提取操作。