[發(fā)明專利]一種數(shù)模混合神經(jīng)元電路

在審

• 申請?zhí)枺?/td>: 202010136806.9
• 申請日: 2020-03-02
• 公開（公告）號: CN111211780A
• 公開（公告）日: 2020-05-29
• 發(fā)明（設(shè)計）人: 張峰;李淼;趙婷;馬春宇
• 申請（專利權(quán)）人: 天津智模科技有限公司
• 主分類號: H03M1/00
• 分類號: H03M1/00
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司 11212
• 代理人: 陳振玉

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)領(lǐng)域，尤其涉及一種數(shù)?；旌仙窠?jīng)元電路，旨在解決現(xiàn)有技術(shù)中數(shù)據(jù)存取時耗費大量的時間和能量的問題。本發(fā)明包括：輸入層電路、多個卷積層電路及輸出層電路，輸入層電路包括：數(shù)據(jù)存儲器、D/A轉(zhuǎn)換電路及權(quán)重存儲器；數(shù)據(jù)存儲器，用于存儲多比特位的激活值；D/A轉(zhuǎn)換電路，用于將數(shù)字量的激活值轉(zhuǎn)換為模擬量；權(quán)重存儲器，用于存儲與激活值一一對應(yīng)的二值權(quán)重值；多個卷積層電路，用于基于模擬量的激活值和與其對應(yīng)的二值權(quán)重值進行多次卷積操作，得到模擬電壓值；輸出層電路，用于輸出模擬電壓值的數(shù)字量。本發(fā)明通過在卷積操作前將數(shù)據(jù)值轉(zhuǎn)換為模擬量，則激活值以模擬量參與卷積運算，從而解決數(shù)據(jù)存取時的延時與能量消耗的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)領(lǐng)域，尤其涉及一種數(shù)?；旌仙窠?jīng)元電路。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)中最大的操作是乘加(MAC)操作，在一個卷積神經(jīng)網(wǎng)絡(luò)中有數(shù)百萬甚至數(shù)億的MAC操作，需要消耗大量的能量。為了降低功耗，可采用神經(jīng)網(wǎng)絡(luò)量化算法。然而，將權(quán)重進行1bit量化，激活值進行定點量化(如4bit、8bit、16bit等)時，由于激活值為數(shù)字量，卷積中加法運算需要使用大量的電容，而且數(shù)據(jù)的存取操作需要耗費大量的時間和能量。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提供一種數(shù)?；旌仙窠?jīng)元電路，當(dāng)權(quán)重1bit量化，激活值8bit、16bit或更高精度mbit量化時，在卷積操作前將數(shù)據(jù)值轉(zhuǎn)換為模擬量，則在卷積神經(jīng)網(wǎng)絡(luò)的多個卷積層中，激活值一直以模擬量參與運算，這將大大減少神經(jīng)元電路的電容個數(shù)，降低神經(jīng)元電路的復(fù)雜度，解決內(nèi)存與計算單元之間數(shù)據(jù)搬運而造成的計算延時與能量消耗的問題。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：

一種數(shù)?；旌仙窠?jīng)元電路，包括：

輸入層電路、多個卷積層電路及輸出層電路，其中，所述輸入層電路包括：數(shù)據(jù)存儲器、D/A轉(zhuǎn)換電路及權(quán)重存儲器；

所述數(shù)據(jù)存儲器，用于存儲多比特位的激活值；

所述D/A轉(zhuǎn)換電路，用于將數(shù)字量的激活值轉(zhuǎn)換為模擬量；

所述權(quán)重存儲器，用于存儲與所述激活值一一對應(yīng)的二值權(quán)重值；

多個所述卷積層電路，用于基于模擬量的激活值和與其對應(yīng)的二值權(quán)重值進行多次卷積操作，得到模擬電壓值；

所述輸出層電路，用于輸出所述模擬電壓值的數(shù)字量。

在一些優(yōu)先的實施例中，多個所述卷積層電路為M個卷積層電路，其中，第一個卷積層電路，用于對模擬量的激活值和與其對應(yīng)的二值權(quán)重值進行卷積操作，得到第一模擬電壓值；

第j個卷積層電路，用于對第j-1次卷積操作得到的模擬電壓值和與模擬量的激活值對應(yīng)的二值權(quán)重值進行卷積操作，得到相應(yīng)的第j模擬電壓值，直至j＝M時輸出所述第M模擬電壓值至所述輸出層電路，其中，j＝2，3，…M。

在一些優(yōu)先的實施例中，所述輸出層電路包括A/D轉(zhuǎn)換電路，用于將得到的所述模擬電壓值轉(zhuǎn)換為數(shù)字量。

在一些優(yōu)先的實施例中，

每個所述卷積層電路包括開關(guān)電容神經(jīng)元電路，所述開關(guān)電容神經(jīng)元電路包括：開關(guān)電容陣列、偏置電路和運算放大器，其中，

所述開關(guān)電容陣列，用于向所述運算放大器提供分壓；

所述偏置電路，用于修正所述分壓；

所述運算放大器，基于所述偏置電路修正后的分壓對模擬量的激活值進行寬矢量求和，輸出模擬電壓值。