[發明專利]神經網絡電路裝置、神經網絡、神經網絡處理方法和神經網絡的執行程序

在審

• 申請號: 201880057412.5
• 申請日: 2018-09-18
• 公開（公告）號: CN111095301A
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 中原啟貴
• 申請（專利權）人: 國立大學法人東京工業大學
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京華夏正合知識產權代理事務所(普通合伙) 11017
• 代理人: 韓登營;蔣國偉

本發明提供一種不需要偏置的神經網絡電路裝置、神經網絡、神經網絡處理方法和神經網絡的執行程序。二值化神經網絡電路(100)具有：輸入輸入值x1～xn(xi)(二值)的輸入節點和輸入權重w1～wn(wi)(二值)的輸入部(101)；XNOR門電路(102)，其接收輸入值x1～xn和權重w1～wn，且進行XNOR邏輯運算；求和電路(103)，其求出各XNOR邏輯值的總和；批歸一化電路(41)，其通過擴大歸一化范圍且使中心位移的處理來修正由二值化導致的分布不平衡；和激活函數電路(35)，其使用激活函數fsgn(B)對信號B進行轉換，其中所述信號B是對求出總和之后的信號Y進行批歸一化得到的信號。

技術領域

本發明涉及一種神經網絡電路裝置、神經網絡、神經網絡處理方法和神經網絡的執行程序(neural network circuit device,neural network,neural networkprocessing method,and program for implementing neural network)。

背景技術

有傳統的前饋神經網絡(FFNN：Feedforward Neural Network)、RBF(RadialBasis Function：徑向基函數)網絡、歸一化的RBF網絡和自組織映射(SOM:Self-Organizing Map)等。RBFN(RBF網絡)使用徑向基函數作為在誤差反向傳播算法(errorback propagation algorithm)中使用的激活函數(activation function)。但是，有不能獲取較多中間層而難以進行高精度識別判定，或者HW規模大而處理時間長等問題，使得應用領域被限定于手寫文字識別等。

近年來，作為在用于ADAS(advanced driver assistance system：高級駕駛輔助系統)的圖像識別和自動翻譯等中備受關注的新方式，出現了卷積神經網絡(CNN：ConvolutionalNeural Network)(層之間不是全連接的NN)、遞歸神經網絡(Recurrent neural network)(雙向傳播)。CNN是對深度神經網絡(DNN：Deep Neural Network)附加卷積運算得到的神經網絡。

專利文獻1中記載了一種具有處理部的處理裝置，該處理部根據糾錯碼的校驗矩陣，使用在遞階神經網絡中的松耦合的節點間學習到的權重值和輸入信號來解決問題。

現有的CNN由單精度(多位)的乘積累加運算電路(product-sum operationcircuit)構成，故其需要大量的乘法電路。因此，存在著面積和電功率消耗極大的缺點。為此，提出了僅使用二值化的精度、即+1和-1(或者0和1)來構成CNN的電路(例如參照非專利文獻1～4)。

在非專利文獻1～4的技術中，由于使精度降低為二值，導致CNN的識別精度也降低了。為了避免這種問題的發生且保持二值化CNN的精度，需要批歸一化電路(BatchNormalization)。

現有技術文獻

【專利文獻】

專利文獻1：日本發明專利公開公報特開2016-173843號

【非專利文獻】

非專利文獻1：M.Courbariaux,I.Hubara,D.Soudry,R.E.Yaniv,Y.Bengio,“Binarized neural networks:Training deep neural networks with weights andactivations constrained to+1or-1,”Computer Research Repository(CoRR)，“二值化NN的算法”、[online]、2016年3月、[平成28年10月5日檢索]，URL:http://arxiv.org/pdf/1602.02830v3.pdf