[發(fā)明專(zhuān)利]神經(jīng)網(wǎng)絡(luò)電路裝置、神經(jīng)網(wǎng)絡(luò)處理方法和神經(jīng)網(wǎng)絡(luò)的執(zhí)行程序

在審

• 申請(qǐng)?zhí)枺?/td>: 201980047467.2
• 申請(qǐng)日: 2019-05-08
• 公開(kāi)（公告）號(hào): CN112424798A
• 公開(kāi)（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 中原啟貴
• 申請(qǐng)（專(zhuān)利權(quán)）人: 東京工匠智能有限公司
• 主分類(lèi)號(hào): G06N3/063
• 分類(lèi)號(hào): G06N3/063
• 代理公司: 北京華夏正合知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11017
• 代理人: 韓登營(yíng);蔣國(guó)偉

本發(fā)明提供一種能夠通過(guò)減少存儲(chǔ)器數(shù)量而將其配置在芯片上的神經(jīng)網(wǎng)絡(luò)電路裝置、神經(jīng)網(wǎng)絡(luò)處理方法和神經(jīng)網(wǎng)絡(luò)的執(zhí)行程序。三狀態(tài)神經(jīng)網(wǎng)絡(luò)電路(200)具有非零卷積運(yùn)算電路(21)、求和電路(22)和激活函數(shù)電路(23)，其中，所述非零卷積運(yùn)算電路(21)在中間層中接收用于進(jìn)行卷積的輸入值Xi和權(quán)重Wi來(lái)進(jìn)行卷積運(yùn)算；所述求和電路(22)求取通過(guò)卷積運(yùn)算得到的各運(yùn)算值和偏置W0的總和；所述激活函數(shù)電路(23)用激活函數(shù)f(u)對(duì)求取總和得到的信號(hào)Y進(jìn)行轉(zhuǎn)換。非零卷積運(yùn)算電路(21)跳過(guò)權(quán)重Wi為零的權(quán)重，來(lái)根據(jù)非零權(quán)重和與該非零權(quán)重對(duì)應(yīng)的輸入值Xi進(jìn)行卷積運(yùn)算。

技術(shù)領(lǐng)域

本發(fā)明涉及一種神經(jīng)網(wǎng)絡(luò)電路裝置、神經(jīng)網(wǎng)絡(luò)處理方法和神經(jīng)網(wǎng)絡(luò)的執(zhí)行程序。

背景技術(shù)

有傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)(FFNN：Feedforward Neural Network)、RBF(RadialBasis Function：徑向基函數(shù))網(wǎng)絡(luò)、歸一化的RBF網(wǎng)絡(luò)和自組織映射(SOM:Self-Organizing Map)等。RBFN(RBF網(wǎng)絡(luò))使用徑向基函數(shù)作為在誤差反向傳播算法(errorback propagation algorithm)中使用的激活函數(shù)(activation function)。但是，有不能獲取較多中間層而難以進(jìn)行高精度識(shí)別判定，或者HW規(guī)模大而處理時(shí)間長(zhǎng)等問(wèn)題，使得應(yīng)用領(lǐng)域被限定于手寫(xiě)文字識(shí)別等。

近年來(lái)，作為在用于ADAS(advanced driver assistance system：高級(jí)駕駛輔助系統(tǒng))的圖像識(shí)別和自動(dòng)翻譯等中備受關(guān)注的新方式，出現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)(CNN：ConvolutionalNeural Network)(層之間不是全連接的NN)、遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent neural network)(雙向傳播)。CNN是對(duì)深度神經(jīng)網(wǎng)絡(luò)(DNN：Deep Neural Network)附加卷積運(yùn)算得到的神經(jīng)網(wǎng)絡(luò)。

專(zhuān)利文獻(xiàn)1中記載了一種具有處理部的處理裝置，該處理部根據(jù)糾錯(cuò)碼的校驗(yàn)矩陣，使用在遞階神經(jīng)網(wǎng)絡(luò)中的松耦合的節(jié)點(diǎn)間學(xué)習(xí)到的權(quán)重值和輸入信號(hào)來(lái)解決問(wèn)題。

在專(zhuān)利文獻(xiàn)2中記載了一種具有分割機(jī)構(gòu)和編碼機(jī)構(gòu)的信息處理裝置，其中，所述分割機(jī)構(gòu)將神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)分為多組；所述編碼機(jī)構(gòu)按分出的每個(gè)組，根據(jù)代碼本(code book)對(duì)權(quán)重參數(shù)進(jìn)行近似來(lái)進(jìn)行編碼。權(quán)重參數(shù)被記載為以二值或者三值的值為要素。如CNN的高層的權(quán)重參數(shù)那樣，對(duì)稀疏的權(quán)重也能進(jìn)行高精度的近似。

在使用CNN的許多機(jī)械學(xué)習(xí)用途中，需要非常多的計(jì)算和存儲(chǔ)器帶寬。放寬該必要條件的一個(gè)方法為，將系數(shù)中的零除去，在系數(shù)為零時(shí)跳過(guò)計(jì)算。

在專(zhuān)利文獻(xiàn)3中記載了一種執(zhí)行卷積的方法，該方法包括：(a)通過(guò)電子器件選擇來(lái)自卷積核的系數(shù)作為當(dāng)前的系數(shù)，(b)通過(guò)所述電子器件，為了得到積的集合而用所述當(dāng)前的系數(shù)乘以圖像的至少一部分，(c)通過(guò)所述電子器件，在所累積的和的集合上加上所述積的集合，(d)按照從(a)到(c)，重復(fù)(a)至(c)直到所述卷積核的所有的系數(shù)均被處理。其中記載了，在選擇來(lái)自卷積核的系數(shù)的情況下，僅選擇卷積核的非零系數(shù)。通過(guò)將跳過(guò)零系數(shù)和新的卷積引擎進(jìn)行組合，來(lái)減少計(jì)算和存儲(chǔ)器帶寬雙方。

現(xiàn)有的CNN由單精度(多位)的乘積累加運(yùn)算電路(product-sum operationcircuit)構(gòu)成，故其需要大量的乘法電路。因此，存在著面積和電功率消耗極大的缺點(diǎn)。為此，提出了僅使用二值化的精度、即+1和-1(或者0和1)來(lái)構(gòu)成CNN的電路(例如參照非專(zhuān)利文獻(xiàn)1～4)。

現(xiàn)有技術(shù)文獻(xiàn)

專(zhuān)利文獻(xiàn)

專(zhuān)利文獻(xiàn)1:日本發(fā)明專(zhuān)利公開(kāi)公報(bào)特開(kāi)2016-173843號(hào)專(zhuān)利文獻(xiàn)2:日本發(fā)明專(zhuān)利公開(kāi)公報(bào)特開(kāi)2018-55260號(hào)

專(zhuān)利文獻(xiàn)3:日本發(fā)明專(zhuān)利公開(kāi)公報(bào)特開(kāi)2018-26134號(hào)

非專(zhuān)利文獻(xiàn)