[發(fā)明專(zhuān)利]基于STDP法則的全數(shù)字脈沖神經(jīng)網(wǎng)絡(luò)硬件系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110529221.8
• 申請(qǐng)日: 2021-05-14
• 公開(kāi)（公告）號(hào): CN113408714B
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 黎釗;周鐵軍;李海;王喆
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州電子科技大學(xué)
• 主分類(lèi)號(hào): G06N3/06
• 分類(lèi)號(hào): G06N3/06;G06N3/0464;G06N3/063
• 代理公司: 杭州君度專(zhuān)利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊舟濤

本發(fā)明公開(kāi)了一種基于STDP法則的全數(shù)字脈沖神經(jīng)網(wǎng)絡(luò)硬件系統(tǒng)及方法，本發(fā)明有機(jī)地結(jié)合了神經(jīng)生物學(xué)中的STDP法則，以及數(shù)字電路中可并行化處理數(shù)據(jù)的優(yōu)勢(shì)，將會(huì)在圖像處理領(lǐng)域高效地完成對(duì)圖像數(shù)據(jù)集的訓(xùn)練和識(shí)別任務(wù)。該脈沖神經(jīng)網(wǎng)絡(luò)系統(tǒng)包含輸入層神經(jīng)元模塊、可塑性學(xué)習(xí)模塊、數(shù)據(jù)線控制模塊、突觸陣列模塊、輸出層神經(jīng)元模塊和實(shí)驗(yàn)報(bào)告模塊。輸出層神經(jīng)元模塊的輸出端連接數(shù)據(jù)線控制模塊的輸入端和可塑性學(xué)習(xí)模塊的輸入端，可塑性學(xué)習(xí)模塊的輸出端連接數(shù)據(jù)線控制模塊的輸入端，數(shù)據(jù)線控制模塊的輸出端連接突觸陣列模塊的輸入端，突觸陣列模塊的輸出端連接輸出層神經(jīng)元輸入端，輸出層神經(jīng)元的輸出端連接實(shí)驗(yàn)報(bào)告模塊的輸入端。

技術(shù)領(lǐng)域

本發(fā)明涉及受腦啟發(fā)的脈沖神經(jīng)網(wǎng)絡(luò)領(lǐng)域，具體是一種基于STDP法則的全數(shù)字脈沖神經(jīng)網(wǎng)絡(luò)硬件系統(tǒng)及方法。

技術(shù)背景

最近幾年神經(jīng)學(xué)的研究已經(jīng)有了顯著的進(jìn)展，發(fā)掘出很多生物神經(jīng)元的新特性。生物神經(jīng)元間在處理信息時(shí)具有動(dòng)態(tài)性和時(shí)空性，具體表現(xiàn)在其處理實(shí)時(shí)信息的高效性和低能耗等方面。隨著高度信息化社會(huì)的發(fā)展，處理實(shí)時(shí)數(shù)據(jù)的要求不斷提高，因此，模仿神經(jīng)元工作方式的軟件模型和硬件架構(gòu)成為研究的重點(diǎn)。目前，IBM公司的正北芯片、Inter公司的Loihi芯片、清華大學(xué)的天機(jī)芯片和浙江大學(xué)的達(dá)爾文芯片，都是很成功的SNN硬件架構(gòu)。但這些結(jié)構(gòu)并沒(méi)有合理地將STDP法則應(yīng)用到SNN的訓(xùn)練階段中，在這里將提出一款全數(shù)字的SNN系統(tǒng)，該系統(tǒng)有機(jī)結(jié)合了對(duì)STDP法則的合理性分析，通過(guò)在線訓(xùn)練的方式實(shí)現(xiàn)對(duì)MNIST數(shù)據(jù)集的識(shí)別。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提出一種基于STDP法則的全數(shù)字脈沖神經(jīng)網(wǎng)絡(luò)硬件系統(tǒng)及方法。

基于STDP法則的全數(shù)字脈沖神經(jīng)網(wǎng)絡(luò)硬件系統(tǒng)，該脈沖神經(jīng)網(wǎng)絡(luò)系統(tǒng)包含輸入層神經(jīng)元模塊、可塑性學(xué)習(xí)模塊、數(shù)據(jù)線控制模塊、突觸陣列模塊、輸出層神經(jīng)元模塊和實(shí)驗(yàn)報(bào)告模塊；

輸出層神經(jīng)元模塊的輸出端連接數(shù)據(jù)線控制模塊的輸入端和可塑性學(xué)習(xí)模塊的輸入端，可塑性學(xué)習(xí)模塊的輸出端連接數(shù)據(jù)線控制模塊的輸入端，數(shù)據(jù)線控制模塊的輸出端連接突觸陣列模塊的輸入端，突觸陣列模塊的輸出端連接輸出層神經(jīng)元的輸入端，輸出層神經(jīng)元的輸出端連接實(shí)驗(yàn)報(bào)告模塊的輸入端；

所述的可塑性學(xué)習(xí)模塊包括突觸地址寄存模塊、多個(gè)突觸計(jì)算模塊、突觸權(quán)重寄存器、多個(gè)突觸后脈沖產(chǎn)生模塊；輸入層神經(jīng)元模塊的輸出端將突觸前脈沖輸入給每個(gè)突觸計(jì)算模塊；每個(gè)突觸計(jì)算模塊計(jì)算出更新后的突觸權(quán)重并通過(guò)第二突觸權(quán)重連接線輸入到突觸權(quán)重寄存器，通過(guò)第一突觸權(quán)重連接線輸入到每個(gè)突觸后脈沖產(chǎn)生模塊；所述的突觸后脈沖產(chǎn)生模塊的輸出端通過(guò)突觸后脈沖連接線將突觸后脈沖輸入到每個(gè)突觸計(jì)算模塊；突觸權(quán)重寄存器通過(guò)突觸權(quán)重輸出端口接突觸陣列模塊；突觸地址寄存模塊的輸出端接突觸陣列模塊；

所述的每個(gè)突觸計(jì)算模塊包括狀態(tài)機(jī)和加法器；所述的狀態(tài)機(jī)從突觸陣列模塊讀取突觸權(quán)重，輸入到突觸后脈沖產(chǎn)生模塊；突觸后脈沖產(chǎn)生模塊根據(jù)突觸權(quán)重的大小決定突觸后脈沖產(chǎn)生的時(shí)間，從而調(diào)整突觸前后脈沖的時(shí)間間隔，根據(jù)時(shí)間間隔，將突觸權(quán)重變量傳輸?shù)郊臃ㄆ?，完成突觸權(quán)重的更新，最后傳輸?shù)酵挥|陣列模塊存儲(chǔ)。

作為優(yōu)選，所述的輸入層神經(jīng)元模塊包括輸入神經(jīng)元計(jì)數(shù)器、圖像像素點(diǎn)計(jì)數(shù)器、輸入神經(jīng)元；所述的輸入神經(jīng)元的輸入端接圖像信息輸入連接線、輸入神經(jīng)元序號(hào)連接線和輸入神經(jīng)元計(jì)數(shù)器，所述的圖像像素點(diǎn)計(jì)數(shù)器的識(shí)別階段和初始化階段寫(xiě)使能輸出端口、識(shí)別階段和初始化階段寫(xiě)地址輸出端口、識(shí)別階段和初始化階段學(xué)習(xí)使能輸出端口、識(shí)別階段和初始化階段讀寫(xiě)地址輸出端口連接數(shù)據(jù)線控制模塊；所述的輸入層神經(jīng)元將196個(gè)輸入層神經(jīng)元壓縮成28個(gè)綜合的輸入層神經(jīng)元模塊，在有效降低了數(shù)字邏輯使用量的同時(shí)與28組突觸計(jì)算模塊相對(duì)應(yīng)。