[發(fā)明專利]一種基于多位并行二進制突觸陣列的神經(jīng)形態(tài)計算電路

有效

• 申請?zhí)枺?/td>: 201910609991.6
• 申請日: 2019-07-08
• 公開（公告）號: CN110378475B
• 公開（公告）日: 2021-08-06
• 發(fā)明（設(shè)計）人: 黃科杰;張賽;沈海斌
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06N3/063
• 分類號: G06N3/063;H03M1/46
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 萬尾甜;韓介梅

本發(fā)明公開了一種基于多位并行二進制突觸陣列的神經(jīng)形態(tài)計算電路，包括神經(jīng)軸突模塊、多位并行的二進制RRAM突觸陣列、時分復(fù)用器、多個積分器和一個共享的逐次逼近型模數(shù)轉(zhuǎn)換器；神經(jīng)軸突模塊包括2個基本單元：時序調(diào)度器和加法器，時序調(diào)度器用于安排信號的時序，使輸入信號采用樹突優(yōu)先的策略，依次輸入到多位并行的二進制RRAM突觸陣列；加法器用于陣列規(guī)模的拓展，當配置的神經(jīng)網(wǎng)絡(luò)輸入層大于1個RRAM陣列的輸入時，利用加法器將多個陣列的計算結(jié)果相加，從而得到網(wǎng)絡(luò)層的輸出；本發(fā)明相比于當前的體制具有高精度和低功耗的優(yōu)勢，可配置成大多數(shù)深度神經(jīng)網(wǎng)絡(luò)應(yīng)用，特別適合部署于對能耗要求高的邊緣計算設(shè)備中。

技術(shù)領(lǐng)域

本發(fā)明屬于神經(jīng)形態(tài)計算領(lǐng)域，涉及一種基于多位并行二進制神經(jīng)網(wǎng)絡(luò)突觸陣列的神經(jīng)形態(tài)計算電路。

背景技術(shù)

近年來深度神經(jīng)網(wǎng)絡(luò)在人工智能領(lǐng)域迅速發(fā)展，在圖像識別、自然語言處理等方面取得優(yōu)異的成果。目前很多先進的深度學(xué)習(xí)算法，通過增加網(wǎng)絡(luò)的深度和參數(shù)的數(shù)量來提高網(wǎng)絡(luò)的性能，對硬件的存儲容量、計算能力以及能效提出了更高的要求。比如AlphaGo需要消耗一百萬瓦的能量才能獲得足夠的算力，相比之下人腦只需要消耗20瓦的能量。

神經(jīng)形態(tài)計算能夠大幅提升人工神經(jīng)網(wǎng)絡(luò)計算的能效，通過模仿人腦的結(jié)構(gòu)將存儲單元和計算單元集成在一起，解決了傳統(tǒng)馮諾依曼結(jié)構(gòu)傳輸帶寬和傳輸能耗的瓶頸問題。新興的電阻式非易失性存儲器(RRAM，Resistive Random-Access-Memory)是實現(xiàn)神經(jīng)形態(tài)計算的最佳選擇，利用RRAM阻值可以將輸入信號的加權(quán)組合轉(zhuǎn)變?yōu)檩敵鲭妷海瓿扇斯ど窠?jīng)網(wǎng)絡(luò)中的基本操作矩陣乘法和累加(MAC，Multiplication-and-Accumulation)，從而實現(xiàn)超低功耗的存內(nèi)并行計算。

當前提出的神經(jīng)形態(tài)計算電路，大都需要高精度的數(shù)模轉(zhuǎn)換器(DACs，Digital-to-Analog Converters)和模數(shù)轉(zhuǎn)換器(ADCs，Analog-to-Digital Converters)作為接口器件，導(dǎo)致接口器件的能耗占整體能耗的80％以上，不利于在邊緣計算設(shè)備里的應(yīng)用。而且當前的神經(jīng)形態(tài)計算解決方案，實現(xiàn)的權(quán)重量化精度和激活值量化精度低，只能面向Lenet等簡單網(wǎng)絡(luò)，對于Alexnet等規(guī)模較大的深度神經(jīng)網(wǎng)絡(luò)性能損失明顯，很大程度上限制了其應(yīng)用的范圍。因此，本發(fā)明提出了一種基于多位并行二進制神經(jīng)網(wǎng)絡(luò)突觸陣列的神經(jīng)形態(tài)計算電路，能夠在低能耗的情況下實現(xiàn)高精度高性能的深度神經(jīng)網(wǎng)絡(luò)。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)存在的缺陷和對低功耗高精度的改進需求，本發(fā)明提出了一種新穎的神經(jīng)網(wǎng)絡(luò)突觸陣列，能夠執(zhí)行大量乘和累加的并行計算。同時提出了一種高效能的神經(jīng)形態(tài)計算架構(gòu)，可配置成不同的深度神經(jīng)網(wǎng)絡(luò)，以滿足不同的應(yīng)用需求。

傳統(tǒng)的神經(jīng)形態(tài)計算電路如圖1所示，DAC和ADC等接口部件會帶來很大的功耗，而且以不同的輸入電壓作為RRAM的讀取電壓，RRAM阻值會產(chǎn)生較大的偏差，導(dǎo)致計算結(jié)果的精確度不高，限制了應(yīng)用的范圍。圖2表示本發(fā)明提出的神經(jīng)形態(tài)計算架構(gòu)，包括神經(jīng)軸突模塊、多位并行的二進制RRAM突觸陣列、時分復(fù)用器、多個積分器和一個共享的逐次逼近型模數(shù)轉(zhuǎn)換器(SAR ADC，Successive Approximation Register Analog-to-DigitalConverter)。來自神經(jīng)網(wǎng)絡(luò)上一層的輸入信號，先進入神經(jīng)軸突模塊，神經(jīng)軸突模塊包括2個基本單元：時序調(diào)度器和加法器。時序調(diào)度器用于安排信號的時序，使輸入信號采用樹突優(yōu)先的策略，依次輸入到多位并行的二進制RRAM突觸陣列；加法器可用于陣列規(guī)模的拓展，當配置的神經(jīng)網(wǎng)絡(luò)輸入層大于1個RRAM陣列的輸入時，可以利用軸突模塊的加法器將多個陣列的計算結(jié)果相加，從而得到網(wǎng)絡(luò)層的輸出。積分器包括積分運放和開關(guān)電容電路，用來將輸入信號和RRAM陣列權(quán)重的MAC計算結(jié)果轉(zhuǎn)化為模擬積分電壓，在下面積分電路的描述中將會給出詳細的介紹。最后通過共享SAR ADC將模擬積分電壓量化為N位數(shù)字形式的輸出數(shù)據(jù)。其中的時分復(fù)用器用于將SAR ADC和積分器共享給網(wǎng)絡(luò)層所有的輸入，通過時序的調(diào)度最大化硬件資源的利用率。