[發(fā)明專利]基于時間步的二值脈沖圖的脈沖卷積神經(jīng)網(wǎng)絡(luò)硬件加速器

有效

• 申請?zhí)枺?/td>: 202110332549.0
• 申請日: 2021-03-29
• 公開（公告）號: CN113033795B
• 公開（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 張玲;楊晶;石匆;林英撐;何偉;李睿
• 申請（專利權(quán)）人: 重慶大學(xué)
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08;G06F7/38
• 代理公司: 重慶華科專利事務(wù)所 50123
• 代理人: 譚小琴

本發(fā)明公開了一種基于時間步的二值脈沖圖的脈沖卷積神經(jīng)網(wǎng)絡(luò)硬件加速器，包括第一特征提取器、第二特征提取器、分類引擎和控制器；第一特征提取器設(shè)置在第一層，用于卷積計(jì)算、膜電位更新以及池化操作；第二特征提取器設(shè)置在第二層，用于卷積計(jì)算、膜電位更新以及池化操作，該第二特征提取器的輸入端與第一特征提取器的輸出端連接；所述分類引擎設(shè)置在第三層，用于對目標(biāo)的分類，其由多個并行設(shè)置的全連接單元和一個脈沖計(jì)數(shù)器組成，分類引擎的輸入端與第二特征提取器的輸出端連接；所述控制器用于負(fù)責(zé)控制輸入權(quán)重，該控制器分別與第一特征提取器、第二特征提取器和分類引擎連接。本發(fā)明能夠提高網(wǎng)絡(luò)的仿生性，提高了計(jì)算效率，節(jié)省了資源消耗。

技術(shù)領(lǐng)域

本發(fā)明屬于神經(jīng)網(wǎng)絡(luò)硬件加速器技術(shù)領(lǐng)域，具體涉及一種基于時間步的二值脈沖圖的脈沖卷積神經(jīng)網(wǎng)絡(luò)硬件加速器。

背景技術(shù)

深度神經(jīng)網(wǎng)絡(luò)在圖像分類、目標(biāo)跟蹤和目標(biāo)分割等專業(yè)領(lǐng)域都達(dá)到了突出的效果，但在計(jì)算以及實(shí)現(xiàn)效率上與生物大腦還存在根本的差異。在大腦中，信息是以脈沖序列為載體進(jìn)行傳遞，具有高度仿生性的脈沖神經(jīng)網(wǎng)絡(luò)可以很好地模擬這種生物神經(jīng)元的信息處理機(jī)制，并具有計(jì)算效率高、占用資源少、易于硬件實(shí)現(xiàn)等優(yōu)勢，因此脈沖神經(jīng)網(wǎng)絡(luò)成為人工智能領(lǐng)域的研究焦點(diǎn)。目前脈沖神經(jīng)網(wǎng)絡(luò)的研究已經(jīng)有了一些成果，但它的應(yīng)用仍然處于起步階段。例如TrueNorth，SpiNNaker等神經(jīng)形態(tài)平臺主要設(shè)計(jì)目的是為了模擬神經(jīng)科學(xué)領(lǐng)域的生物大腦行為，并不適用于低成本、高速的實(shí)際嵌入式應(yīng)用場景。這些已報(bào)道的神經(jīng)形態(tài)芯片并不是scnn的合適架構(gòu)，因?yàn)樗鼈冊谕评磉^程中不能利用卷積層的結(jié)構(gòu)規(guī)律。另一方面，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)(例如AlexNet、VGG19)等深度學(xué)習(xí)模型在眾多領(lǐng)域上表現(xiàn)出良好的效果，這得益于深度學(xué)習(xí)模型具有顯著的特征提取能力，但此類深度學(xué)習(xí)模型由于計(jì)算量大、占用資源多、需要依賴頂級顯卡加速，使得這些模型無法應(yīng)用到成本有限的、實(shí)時的嵌入場景中。

因此，有必要開發(fā)一種新的基于時間步的二值脈沖圖的脈沖卷積神經(jīng)網(wǎng)絡(luò)硬件加速器。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于時間步的二值脈沖圖的脈沖卷積神經(jīng)網(wǎng)絡(luò)硬件加速器，能提高網(wǎng)絡(luò)的仿生性，并能大大提高計(jì)算效率，且能節(jié)省資源消耗。

本發(fā)明所述的一種基于時間步的二值脈沖圖的脈沖卷積神經(jīng)網(wǎng)絡(luò)硬件加速器，包括第一特征提取器、第二特征提取器、分類引擎和控制器；

所述第一特征提取器設(shè)置在第一層，用于卷積計(jì)算、膜電位更新以及池化操作；

所述第二特征提取器設(shè)置在第二層，用于卷積計(jì)算、膜電位更新以及池化操作，該第二特征提取器的輸入端與第一特征提取器的輸出端連接；

所述分類引擎設(shè)置在第三層，用于對目標(biāo)的分類，其由多個并行設(shè)置的全連接單元和一個脈沖計(jì)數(shù)器組成，分類引擎的輸入端與第二特征提取器的輸出端連接；

所述控制器用于負(fù)責(zé)控制輸入權(quán)重，該控制器分別與第一特征提取器、第二特征提取器和分類引擎連接。

可選地，所述第一特征提取器包括16個脈沖卷積計(jì)算單元，每個脈沖卷積計(jì)算單元包括兩個用于對輸入數(shù)據(jù)進(jìn)行緩存的行緩存，以及由9個選擇器和4個加法器構(gòu)成的2-D卷積矩陣；

所述第二特征提取器包括32組脈沖卷積計(jì)算單元，每組由16個脈沖卷積計(jì)算單元組成。

可選地，所述第一特征提取器和第二特征提取器中，還包括膜電位計(jì)算單元，同一通道共享一個膜電位計(jì)算單元，用于對卷積過后的結(jié)果進(jìn)行膜電位在每個時間步泄露積分計(jì)算；

所述膜電位計(jì)算單元由1個加法器、1個乘法器、1個選擇器和1塊膜電位內(nèi)存組成，其中，加法器的一輸入端與脈沖卷積計(jì)算單元的輸出端連接，加法器的輸出端與乘法器的一輸入端連接，選擇器的輸出端與乘法器的另一輸入端連接，乘法器的輸出端與膜電壓內(nèi)存的輸入端連接，膜電位內(nèi)存的輸出端與加法器的另一輸入端連接。