[發(fā)明專利]一種基于可重構(gòu)技術(shù)的用于加速卷積和池化運(yùn)算的裝置

有效

• 申請?zhí)枺?/td>: 201811024320.5
• 申請日: 2018-09-04
• 公開（公告）號: CN109284824B
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: 朱浩哲;王彧;張怡云;史傳進(jìn)
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發(fā)明屬于集成電路技術(shù)領(lǐng)域，具體為一種基于可重構(gòu)技術(shù)的用于加速卷積與池化運(yùn)算的裝置。本發(fā)明裝置包括：可重構(gòu)運(yùn)算單元、卷積權(quán)重存儲(chǔ)模塊，特征值存儲(chǔ)模塊，控制模塊；可重構(gòu)運(yùn)算模塊在控制模塊的控制下，從特征值存儲(chǔ)模塊中讀取特征值，進(jìn)行卷積運(yùn)算、或最大池化運(yùn)算、或平均池化運(yùn)算后，將結(jié)果寫回特征值存儲(chǔ)模塊。本發(fā)明克服了現(xiàn)有技術(shù)的用于卷積和池化運(yùn)算的運(yùn)算裝置中需要多個(gè)不同部件分別處理卷積和池化運(yùn)算的技術(shù)問題，節(jié)省了電路面積和功耗，提高了系統(tǒng)能效。

技術(shù)領(lǐng)域

本發(fā)明屬于集成電路技術(shù)領(lǐng)域，具體涉及一種深度神經(jīng)網(wǎng)絡(luò)算法中用于卷積和池化運(yùn)算的裝置。

背景技術(shù)

如今，深度神經(jīng)網(wǎng)絡(luò)算法在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域展現(xiàn)出驚人的潛力。為了提高深度神經(jīng)網(wǎng)絡(luò)算法的計(jì)算能效，技術(shù)人員們開發(fā)了一系列的深度神經(jīng)網(wǎng)絡(luò)算法加速芯片。

深度卷積神經(jīng)網(wǎng)絡(luò)算法是目前使用最廣泛的深度神經(jīng)網(wǎng)絡(luò)算法之一，它一般由卷積層、池化層等若干層不同的運(yùn)算連接而成。其中池化運(yùn)算又分成最大池化和平均池化兩種不同的運(yùn)算。目前已有的架構(gòu)中，為了處理池化運(yùn)算，有兩種技術(shù)路線。第一種，是使用CPU等通用處理單元計(jì)算池化運(yùn)算，但是CPU等通用處理單元處理池化運(yùn)算的并行性較低，且在卷積加速模塊和CPU等通用處理單元之間傳輸數(shù)據(jù)需要占據(jù)大量的總線帶寬，進(jìn)而影響權(quán)重等總線數(shù)據(jù)傳輸。第二種，是采用多個(gè)不同結(jié)構(gòu)的運(yùn)算加速模塊進(jìn)行分別對不同的運(yùn)算進(jìn)行加速，這會(huì)浪費(fèi)芯片的面積和功耗。

綜上所述，如何設(shè)計(jì)一個(gè)架構(gòu)同時(shí)高效地兼容上述三種運(yùn)算，是相關(guān)領(lǐng)域技術(shù)人員亟需解決的一個(gè)問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種高效的用于深度神經(jīng)網(wǎng)絡(luò)算法中加速卷積和池化運(yùn)算的裝置。

本發(fā)明提供的用于深度神經(jīng)網(wǎng)絡(luò)算法中加速卷積和池化運(yùn)算的裝置，是基于可重構(gòu)技術(shù)的，包括：

可重構(gòu)計(jì)算單元，用于重構(gòu)成卷積、最大池化、平均池化三個(gè)模式，進(jìn)行計(jì)算；

特征值存儲(chǔ)模塊，用于存儲(chǔ)參加計(jì)算的特征值；

卷積權(quán)重存儲(chǔ)模塊，用于存儲(chǔ)卷積運(yùn)算的濾波器權(quán)重；

控制模塊，用于接收上位機(jī)的指令，對所述可重構(gòu)計(jì)算單元進(jìn)行動(dòng)態(tài)重構(gòu)；

其中，所述可重構(gòu)計(jì)算單元，在所述控制模塊的控制下，從所述特征值存儲(chǔ)模塊中讀取參與計(jì)算的特征值，在卷積模式時(shí)同時(shí)從卷積權(quán)重存儲(chǔ)模塊中讀取權(quán)重，進(jìn)行計(jì)算后將結(jié)果寫回特征值存儲(chǔ)模塊中。

本發(fā)明中，所述的可重構(gòu)計(jì)算單元，包括一個(gè)乘法器和一個(gè)累加器。

可重構(gòu)計(jì)算單元的乘法器，具有以下特征：

第一個(gè)乘法因數(shù)輸入端口接收來自所述特征值存儲(chǔ)模塊的輸入特征值；

第二個(gè)乘法因數(shù)輸入端口可以被重構(gòu)為接收來自所述卷積權(quán)重存儲(chǔ)模塊的卷積濾波器權(quán)重，或被直接重構(gòu)為立即數(shù)。

可重構(gòu)計(jì)算單元的累加器，具有以下特征：

所述累加器由一個(gè)加法器和一個(gè)結(jié)果寄存器組成；

所述加法器接收來自所述乘法器的輸出，將其與所述結(jié)果寄存器中存儲(chǔ)的數(shù)值相加后，產(chǎn)生加法器的輸出。

本發(fā)明提供的用于深度神經(jīng)網(wǎng)絡(luò)算法中加速卷積和池化運(yùn)算的裝置，在每次卷積或池化運(yùn)算開始前，結(jié)果寄存器中存儲(chǔ)的數(shù)值進(jìn)行初始化。

在不同的可重構(gòu)模式下，可重構(gòu)單元的電路行為有所不同。具體如下：

卷積模式的計(jì)算流程為：

（1）累加器的結(jié)果寄存器初始化為零，也可初始化為偏置（bias）；

（2）將乘法器的第2個(gè)乘法因數(shù)輸入端口配置成從卷積權(quán)重存儲(chǔ)模塊接收濾波器權(quán)重；