[發(fā)明專(zhuān)利]一種可配置的卷積神經(jīng)網(wǎng)絡(luò)處理器電路

有效

• 申請(qǐng)?zhí)枺?/td>: 202010545278.2
• 申請(qǐng)日: 2020-06-16
• 公開(kāi)（公告）號(hào): CN111507465B
• 公開(kāi)（公告）日: 2020-10-23
• 發(fā)明（設(shè)計(jì)）人: 周軍;周勇;劉嘉豪;劉青松
• 申請(qǐng)（專(zhuān)利權(quán)）人: 電子科技大學(xué)
• 主分類(lèi)號(hào): G06N3/063
• 分類(lèi)號(hào): G06N3/063;G06N3/04;G06N3/08
• 代理公司: 電子科技大學(xué)專(zhuān)利中心 51203
• 代理人: 吳姍霖

本發(fā)明提供了一種可配置的卷積神經(jīng)網(wǎng)絡(luò)處理器電路，包括FIR濾波模塊、分窗處理模塊和神經(jīng)網(wǎng)絡(luò)運(yùn)算模塊，神經(jīng)網(wǎng)絡(luò)運(yùn)算模塊包括卷積層、池化層、可配置激活函數(shù)層和全連接層，可配置激活函數(shù)層包括取絕對(duì)值模塊、區(qū)間判斷模塊、第一多路選擇器、配置模塊、地址生成模塊、RAM、區(qū)間拓展模塊和第二多路選擇器，所述可配置激活函數(shù)層配置sigmoid函數(shù)或tanh函數(shù)、誤差，大大提高處理器的通用性和靈活性；通過(guò)結(jié)合分層量化與飽和截位，實(shí)現(xiàn)每層神經(jīng)網(wǎng)絡(luò)量化標(biāo)準(zhǔn)可配置，減少溢出風(fēng)險(xiǎn)；通過(guò)復(fù)用全連接層的乘積累加運(yùn)算單元實(shí)現(xiàn)FIR濾波功能，采用兩階段數(shù)據(jù)傳輸模式傳輸數(shù)據(jù)，進(jìn)一步降低功耗。

技術(shù)領(lǐng)域

本發(fā)明屬于人工智能技術(shù)領(lǐng)域，具體涉及一種可配置的卷積神經(jīng)網(wǎng)絡(luò)處理器電路。

背景技術(shù)

人工智能（Artificial Intelligence，AI）是引領(lǐng)未來(lái)的戰(zhàn)略性產(chǎn)業(yè)，而AI芯片作為整個(gè)人工智能領(lǐng)域的關(guān)鍵技術(shù)環(huán)節(jié)，是我國(guó)人工智能產(chǎn)業(yè)的基礎(chǔ)，是實(shí)現(xiàn)人工智能突破的重要關(guān)卡。深度學(xué)習(xí)作為發(fā)展人工智能的重要途徑，與傳統(tǒng)計(jì)算模式最大的區(qū)別就是不需要大規(guī)模邏輯編程，但需要海量并行計(jì)算，新的計(jì)算模式和人工智能時(shí)代新計(jì)算的強(qiáng)大需求，正在催生出新的專(zhuān)用計(jì)算芯片。深度學(xué)習(xí)算法的成熟、算力提升及大數(shù)據(jù)共同促進(jìn)人工智能實(shí)現(xiàn)跨越式發(fā)展，人工智能應(yīng)用層出不窮進(jìn)一步推動(dòng)算力需求的提升。

深度卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的代表算法之一，目前已經(jīng)在軟件平臺(tái)實(shí)現(xiàn)并應(yīng)用，得益于多個(gè)深度學(xué)習(xí)框架的發(fā)展，在中央處理器（Central Processing Unit，CPU）或圖形處理器（Graphics Processing Unit，GPU）上通過(guò)軟件編程可以簡(jiǎn)單方便的實(shí)現(xiàn)各種類(lèi)型的深度卷積神經(jīng)網(wǎng)絡(luò)。但是CPU實(shí)現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)的方式無(wú)法很好地利用到卷積神經(jīng)網(wǎng)絡(luò)算法的并行性特征，因此無(wú)法滿(mǎn)足大多數(shù)應(yīng)用所需的低時(shí)延、低功耗要求。在 GPU上實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)雖然可以很好的利用卷積神經(jīng)網(wǎng)絡(luò)算法的并行性特征，從而獲得很好的性能，但其過(guò)高的功耗無(wú)法滿(mǎn)足便攜式設(shè)備的要求。傳統(tǒng)專(zhuān)用集成電路（ApplicationSpecific Integrated Circuit，ASIC）專(zhuān)用人工智能計(jì)算加速電路，針對(duì)某個(gè)特定算法，通過(guò)專(zhuān)用的電路結(jié)構(gòu)來(lái)實(shí)現(xiàn)計(jì)算，但其可配置性差，無(wú)法跟上人工智能算法的高速發(fā)展。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明提出了一種可配置的卷積神經(jīng)網(wǎng)絡(luò)處理器電路，通過(guò)配置激活函數(shù)層結(jié)構(gòu)和每層神經(jīng)網(wǎng)絡(luò)量化標(biāo)準(zhǔn)，大大提升神經(jīng)網(wǎng)絡(luò)處理器的通用性、準(zhǔn)確度，改進(jìn)有限脈沖響應(yīng)（Finite Impulse Response，F(xiàn)IR）濾波模塊和分窗處理模塊，降低神經(jīng)網(wǎng)絡(luò)處理器的芯片面積和功耗。

本發(fā)明具體技術(shù)方案如下：

一種可配置的卷積神經(jīng)網(wǎng)絡(luò)處理器電路，包括FIR濾波模塊、分窗處理模塊和神經(jīng)網(wǎng)絡(luò)運(yùn)算模塊，其特征在于，所述神經(jīng)網(wǎng)絡(luò)運(yùn)算模塊包括卷積層、池化層、可配置激活函數(shù)層和全連接層，所述可配置激活函數(shù)層配置sigmoid函數(shù)或tanh函數(shù)，還配置誤差；

所述可配置激活函數(shù)層配置的sigmoid函數(shù)或tanh函數(shù)擬合公式具體通過(guò)以下方式得到：

對(duì)輸入劃分不同區(qū)間，要求誤差小于，sigmoid函數(shù)或tanh函數(shù)為，激活函數(shù)為；

首先對(duì)于，sigmoid函數(shù)或tanh函數(shù)的擬合過(guò)程如下：

當(dāng)時(shí)，對(duì) 在0處進(jìn)行一階泰勒展開(kāi)，得到擬合公式，當(dāng)時(shí)，橫坐標(biāo)為，得到首段輸入?yún)^(qū)間；

當(dāng)函數(shù) 時(shí)，橫坐標(biāo)為，得到末段輸入?yún)^(qū)間，所述區(qū)間對(duì)應(yīng)的擬合公式為；