[發(fā)明專利]用于卷積神經(jīng)網(wǎng)絡(luò)卷積運(yùn)算和全連接運(yùn)算電路

有效

• 申請(qǐng)?zhí)枺?/td>: 201810300523.6
• 申請(qǐng)日: 2018-04-04
• 公開（公告）號(hào): CN108764467B
• 公開（公告）日: 2021-08-17
• 發(fā)明（設(shè)計(jì)）人: 谷江濤;汪波;王新安;張超;歐陽廷炳;高立釗;陳紅英;何春舅
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)深圳研究生院
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063
• 代理公司: 深圳鼎合誠知識(shí)產(chǎn)權(quán)代理有限公司 44281
• 代理人: 郭燕

一種用于卷積神經(jīng)網(wǎng)絡(luò)卷積運(yùn)算和全連接運(yùn)算電路，由時(shí)域計(jì)算電路中的鑒相器、數(shù)字時(shí)間轉(zhuǎn)換器、時(shí)間放大器和時(shí)間寄存器構(gòu)成。所提出的基于模擬時(shí)域的計(jì)算電路，能在時(shí)域上完成卷積神經(jīng)網(wǎng)絡(luò)卷積運(yùn)算所需的的乘累加等運(yùn)算，具有很高的時(shí)間計(jì)算精度，且能節(jié)省額外存儲(chǔ)面積和降低相應(yīng)功耗，完全兼容CMOS工藝。

技術(shù)領(lǐng)域

本發(fā)明涉及電子信息以及深度學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及用于卷積神經(jīng)網(wǎng)絡(luò)卷積運(yùn)算和全連接運(yùn)算電路。

背景技術(shù)

隨著基于神經(jīng)網(wǎng)絡(luò)的人工智能解決方案的需求越來越多，在一些移動(dòng)平臺(tái)如無人機(jī)、機(jī)器人等都應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建，這些都正在深刻的改變?nèi)祟惖纳a(chǎn)和生活方式。而對(duì)應(yīng)在卷積神經(jīng)網(wǎng)絡(luò)專用硬件設(shè)計(jì)研究方面，已有基于CPU、GPU、FPGA、ASIC和RRAM等新型器件的實(shí)現(xiàn)方式。從云端到移動(dòng)端，不同應(yīng)用場(chǎng)景對(duì)卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算能力提出了不同的需求，再加上卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)多樣、數(shù)據(jù)量大、計(jì)算量大，也給硬件實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)算法設(shè)計(jì)提出了巨大挑戰(zhàn)。其中，卷積神經(jīng)網(wǎng)絡(luò)的硬件架構(gòu)的核心是卷積運(yùn)算的硬件架構(gòu)。

在現(xiàn)有技術(shù)中，一種是應(yīng)用傳統(tǒng)的數(shù)字電路進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)卷積運(yùn)算的硬件架構(gòu)的電路設(shè)計(jì)，如FPGA、ASIC、GPU和CPU等。但隨著工藝尺寸的減小，電路節(jié)點(diǎn)漏電增大、電源電壓降低。在一定的計(jì)算精度下，就要消耗大量的電路計(jì)算資源和存儲(chǔ)資源。即整體電路的功耗、面積、速度和精度等性能不斷受到限制。另一種是基于新器件進(jìn)行CNN硬件電路設(shè)計(jì)實(shí)現(xiàn)，如RRAM等。但是這種新型器件工藝與CMOS工藝不完全兼容，且同樣存在計(jì)算度量的分辨精度受限問題。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┯糜诰矸e神經(jīng)網(wǎng)絡(luò)卷積運(yùn)算和全連接運(yùn)算電路。在摩爾定律工藝下，以電壓、電流為計(jì)算量的傳統(tǒng)數(shù)模電路在速度和精度等性能上不斷受到限制，而相關(guān)研究表明模擬時(shí)域運(yùn)算電路可以有更高精度等性能優(yōu)勢(shì)，本申請(qǐng)就基于常規(guī)的模擬時(shí)域運(yùn)算電路實(shí)現(xiàn)用于卷積神經(jīng)網(wǎng)絡(luò)卷積運(yùn)算，卷積運(yùn)算的硬件電路架構(gòu)完全兼容CMOS加工工藝，進(jìn)而在達(dá)到很高的時(shí)間計(jì)算精度的同時(shí)，減少用于存儲(chǔ)的集成電路數(shù)量和相應(yīng)功耗的損耗。

本申請(qǐng)公開的用于卷積神經(jīng)網(wǎng)絡(luò)卷積運(yùn)算和全連接運(yùn)算電路具體實(shí)施方案如下：

根據(jù)第一方面，一種實(shí)施例中提供一種基于時(shí)域計(jì)算的卷積運(yùn)算電路包括：

卷積權(quán)重輸入模塊，具有參考脈沖信號(hào)輸入端、卷積核權(quán)重值輸入端、超前滯后控制信號(hào)輸入端、正輸出端和負(fù)輸出端；所述參考脈沖信號(hào)輸入端用于輸入?yún)⒖济}沖信號(hào)，所述卷積核權(quán)重值輸入端用于輸入表示卷積核權(quán)重值的信號(hào)，所述控制信號(hào)輸入端用于輸入超前滯后控制信號(hào)；所述卷積權(quán)重輸入模塊用于根據(jù)所述超前滯后控制信號(hào)來判斷卷積核權(quán)重值輸入端接收到的信號(hào)所表示的卷積核權(quán)重值的負(fù)和正，當(dāng)判斷為負(fù)時(shí)，則通過其負(fù)輸出端輸出，當(dāng)判斷為非負(fù)時(shí)，則通過其正輸出端輸出；

卷積模塊，包括一路或多路獨(dú)立的卷積子模塊；每路所述卷積子模塊具有核權(quán)重值正輸入端、核權(quán)重值負(fù)輸入端、待卷積值輸入端、以及輸出端；所述待卷積值輸入端用于輸入表示待卷積值的信號(hào)；所述核權(quán)重值正輸入端用于接收所述卷積權(quán)重輸入模塊的正輸出端輸出的信號(hào)，所述卷積子模塊用于將其核權(quán)重值正輸入端接收的信號(hào)進(jìn)行放大，并將放大后的信號(hào)作為加數(shù)進(jìn)行累加計(jì)算；所述核權(quán)重值負(fù)輸入端用于接收所述卷積權(quán)重輸入模塊的負(fù)輸出端輸出的信號(hào)，所述卷積子模塊用于將其核權(quán)重值負(fù)輸入端接收的信號(hào)進(jìn)行放大，并將放大后的信號(hào)作為減數(shù)進(jìn)行累減計(jì)算，其中所述卷積子模塊對(duì)信號(hào)進(jìn)行放大的倍數(shù)為所述待卷積值；所述卷積子模塊通過其輸出端來輸出表示最終計(jì)算結(jié)果的信號(hào)。

進(jìn)一步，所述卷積權(quán)重輸入模塊包括：

第一數(shù)字時(shí)間轉(zhuǎn)換器，具有輸入端、控制端和輸出端；所述第一數(shù)字時(shí)間轉(zhuǎn)換器的輸入端與所述參考脈沖信號(hào)輸入端連接，用于接收所述參考脈沖信號(hào)；所述第一數(shù)字時(shí)間轉(zhuǎn)換器的控制端與所述卷積核權(quán)重值輸入端連接，用于輸入所述表示卷積核權(quán)重值的信號(hào)；所述第一數(shù)字時(shí)間轉(zhuǎn)換器當(dāng)接收到用于所述表示卷積核權(quán)重值的信號(hào)時(shí)，通過其輸出端輸出第一脈沖信號(hào)，其中第一脈沖信號(hào)與所述參考脈沖信號(hào)的時(shí)差為所述卷積核權(quán)重值；