[發(fā)明專(zhuān)利]一種面向神經(jīng)網(wǎng)絡(luò)處理的運(yùn)算單元陣列結(jié)構(gòu)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010728621.7
• 申請(qǐng)日: 2020-07-27
• 公開(kāi)（公告）號(hào): CN111967587A
• 公開(kāi)（公告）日: 2020-11-20
• 發(fā)明（設(shè)計(jì)）人: 韓軍;張權(quán);張永亮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 復(fù)旦大學(xué)
• 主分類(lèi)號(hào): G06N3/063
• 分類(lèi)號(hào): G06N3/063;G06F9/30
• 代理公司: 上海正旦專(zhuān)利代理有限公司 31200
• 代理人: 張磊

本發(fā)明為一種面向神經(jīng)網(wǎng)絡(luò)處理的運(yùn)算單元陣列結(jié)構(gòu)。由運(yùn)算單元模塊和局部總線模塊組成。單個(gè)運(yùn)算單元模塊負(fù)責(zé)完成一維卷積運(yùn)算，局部總線模塊將中間結(jié)果向上傳輸，進(jìn)行中間結(jié)果累加，完成二維卷積的運(yùn)算，減少中間結(jié)果的寫(xiě)回，提升系統(tǒng)整體能效比。運(yùn)算單元模塊內(nèi)部設(shè)置若干個(gè)寄存器堆，同時(shí)進(jìn)行多個(gè)卷積核的超二維卷積運(yùn)算，進(jìn)一步提升數(shù)據(jù)復(fù)用度和減少中間結(jié)果的寫(xiě)回。運(yùn)算單元陣列采用自組織模式，接收來(lái)自頂層的控制信號(hào)，并由局部總線模塊根據(jù)相鄰運(yùn)算單元的ID配置自動(dòng)計(jì)算完成二維卷積運(yùn)算所需要的當(dāng)前運(yùn)算單元的空間位置，之后自動(dòng)完成數(shù)據(jù)的收發(fā)以及相關(guān)運(yùn)算操作，具有一定的自主性。本發(fā)明能夠較高的提升神經(jīng)網(wǎng)絡(luò)處理中計(jì)算效率。

技術(shù)領(lǐng)域

本發(fā)明屬于集成電路設(shè)計(jì)技術(shù)領(lǐng)域，具體涉及一種面向神經(jīng)網(wǎng)絡(luò)處理的運(yùn)算單元陣列結(jié)構(gòu)。

背景技術(shù)

深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別以及機(jī)器人控制等重要領(lǐng)域都得到了良好應(yīng)用，但是各類(lèi)應(yīng)用也對(duì)神經(jīng)網(wǎng)絡(luò)算法的精度和復(fù)雜度不斷提出更高的要求，導(dǎo)致算法的實(shí)現(xiàn)面臨一系列挑戰(zhàn)性問(wèn)題。雖然傳統(tǒng)處理器架構(gòu)取得了一定進(jìn)步，但是存在運(yùn)算單元之間數(shù)據(jù)的直接通信導(dǎo)致數(shù)據(jù)復(fù)用度低以及能效比差等問(wèn)題。為改善上述問(wèn)題，近年來(lái)研究人員設(shè)計(jì)了基于陣列并行的空間型處理器架構(gòu)，搭配適當(dāng)?shù)臄?shù)據(jù)流策略，可以顯著的提升神經(jīng)網(wǎng)絡(luò)算法的數(shù)據(jù)復(fù)用度和運(yùn)算速度。

卷積運(yùn)算是神經(jīng)網(wǎng)絡(luò)算法中最基本的運(yùn)算操作，對(duì)于當(dāng)前深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，通常需要面臨計(jì)算量巨大的卷積運(yùn)算。卷積運(yùn)算，即張量運(yùn)算，用數(shù)學(xué)表達(dá)式描述就是，,其實(shí)現(xiàn)的關(guān)鍵的是多個(gè)卷積核的權(quán)重與輸入特征圖的數(shù)值進(jìn)行乘累加運(yùn)算。如果直接按照上述運(yùn)算公式的方式直接求解，隨著神經(jīng)網(wǎng)絡(luò)算法復(fù)雜度的提升，數(shù)據(jù)計(jì)算量的增大，這種直接求解的方法會(huì)頻繁的從外部存儲(chǔ)讀寫(xiě)數(shù)據(jù)，極大降低系統(tǒng)的能效比。另一種方法是采用適配的數(shù)據(jù)流策略，固定某種數(shù)據(jù)類(lèi)型，減少數(shù)據(jù)讀寫(xiě)次數(shù)。這種適配的數(shù)據(jù)流能夠選擇合適的存儲(chǔ)層次來(lái)去訪問(wèn)數(shù)據(jù)，最小化訪存帶來(lái)的能耗。搭配數(shù)據(jù)流策略的運(yùn)算單元陣列是常見(jiàn)的硬件實(shí)現(xiàn)方式，并且有利于輸入總線和輸出總線的實(shí)現(xiàn)，從而大大提升數(shù)據(jù)的傳輸效率。常見(jiàn)的數(shù)據(jù)流策略有權(quán)重固定（WS, Weight Stationary）,輸出固定（OS，OutputStationary）,行固定（Row Stationary）三種，對(duì)比這三種數(shù)據(jù)流策略，使用權(quán)重固定數(shù)據(jù)流策略只能提升權(quán)重的數(shù)據(jù)復(fù)用度，輸出固定數(shù)據(jù)流策略只能減少中間結(jié)果的讀寫(xiě)次數(shù)，而行固定數(shù)據(jù)流策略不僅能同時(shí)提升三種類(lèi)型數(shù)據(jù)的復(fù)用度，同時(shí)還能減少數(shù)據(jù)的讀寫(xiě)次數(shù)。并且行固定數(shù)據(jù)流策略可以在運(yùn)算單元內(nèi)部引入多個(gè)卷積核進(jìn)行超二維運(yùn)算，進(jìn)一步提升數(shù)據(jù)復(fù)用度和中間結(jié)果的寫(xiě)回次數(shù)。本設(shè)計(jì)提出了基于行固定數(shù)據(jù)流策略，采用二維運(yùn)算單元陣列結(jié)構(gòu)，完成神經(jīng)網(wǎng)絡(luò)算法的實(shí)現(xiàn)。

發(fā)明內(nèi)容

為了克服先用技術(shù)的不足，本發(fā)明的目的在于提供一種面向神經(jīng)網(wǎng)絡(luò)處理的運(yùn)算單元陣列結(jié)構(gòu)，其采用行固定數(shù)據(jù)流策略和二維運(yùn)算單元陣列排布，能實(shí)現(xiàn)數(shù)據(jù)復(fù)用度的最大化，

本發(fā)明提出的一種面向神經(jīng)網(wǎng)絡(luò)處理的運(yùn)算單元陣列結(jié)構(gòu)，其中：包括運(yùn)算單元模塊和局部總線模塊，局部總線模塊的輸入端連接ID數(shù)值；

運(yùn)算單元模塊分為頂部運(yùn)算單元模塊、中間運(yùn)算單元模塊和底部運(yùn)算單元模塊，局部總線模塊位于運(yùn)算單元模塊的垂直方向上；運(yùn)算單元模塊由狀態(tài)機(jī)，寄存器堆和乘累加單元模塊組成，寄存器堆包括輸入激勵(lì)寄存器堆、權(quán)重寄存器堆和中間結(jié)果寄存器堆，狀態(tài)機(jī)的數(shù)據(jù)請(qǐng)求輸入端連接寄存器堆的輸入端，寄存器堆與乘累加單元進(jìn)行雙向交互；

運(yùn)算單元模塊完成卷積運(yùn)算的最基本單元，負(fù)責(zé)接收來(lái)自輸入局部總線模塊的輸入數(shù)據(jù)，并完成一維卷積運(yùn)算，并根據(jù)在運(yùn)算單元模塊陣列位置的不同，將中間結(jié)果發(fā)送至局部總線模塊向上傳輸以及完成中間結(jié)果的累加，最終得到輸出激勵(lì)；

局部總線模塊，負(fù)責(zé)垂直方向上相鄰運(yùn)算單元之間中間結(jié)果的單向交互，并根據(jù)相鄰運(yùn)算單元模塊的ID數(shù)值計(jì)算運(yùn)算單元的空間位置；