[發(fā)明專利]基于神經(jīng)網(wǎng)絡(luò)的計(jì)算陣列

有效

• 申請(qǐng)?zhí)枺?/td>: 201710961627.7
• 申請(qǐng)日: 2017-10-17
• 公開（公告）號(hào): CN107797962B
• 公開（公告）日: 2021-04-16
• 發(fā)明（設(shè)計(jì)）人: 尹首一;嚴(yán)佳樂;涂鋒斌;歐陽鵬;劉雷波;魏少軍
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06F15/78
• 分類號(hào): G06F15/78;G06F7/52;G06F7/50
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 王濤;賈磊

本發(fā)明提供了基于神經(jīng)網(wǎng)絡(luò)的計(jì)算陣列，所述計(jì)算陣列包括多個(gè)可重構(gòu)計(jì)算單元，每一所述可重構(gòu)計(jì)算單元包括(n+1)層多比特位寬乘法器；每一層乘法單元用于執(zhí)行不同的計(jì)算任務(wù)，從最小乘法單元開始，每一層乘法單元的計(jì)算結(jié)果通過移位及加法器的加法操作輸送給下一層乘法單元。本申請(qǐng)實(shí)施例中，可以并行執(zhí)行多比特寬度的乘法任務(wù)，將乘法器的利用率達(dá)到100％，實(shí)現(xiàn)硬件的最大利用化；加法器不僅在進(jìn)行部分積累加的拼接作用時(shí)起效果，也可以將已經(jīng)計(jì)算完畢的比特?cái)?shù)進(jìn)行累加求和，完成卷積神經(jīng)網(wǎng)絡(luò)的乘法和累加部分，大大提高了加法器的復(fù)用性，也滿足不同需求下硬件的多樣化運(yùn)用。

技術(shù)領(lǐng)域

本發(fā)明是關(guān)于卷積計(jì)算技術(shù)領(lǐng)域，特別涉及一種基于神經(jīng)網(wǎng)絡(luò)的計(jì)算陣列。

背景技術(shù)

目前，計(jì)算機(jī)技術(shù)已經(jīng)步入高速發(fā)展階段，尤其在數(shù)值運(yùn)算和邏輯處理方面，它的性能已經(jīng)遠(yuǎn)遠(yuǎn)超過人類大腦本能的計(jì)算能力水平。而近幾年來，由于人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的發(fā)展，計(jì)算機(jī)在圖像處理和語音識(shí)別方面也取得了相當(dāng)大的進(jìn)步。人工神經(jīng)網(wǎng)絡(luò)力圖建立、模擬人腦神經(jīng)活動(dòng)的數(shù)學(xué)模型，并在一定算法指導(dǎo)下，模仿出人類大腦處理信息的能力。隨著Google的AlphaGo在與李世石的對(duì)戰(zhàn)中勝出，人工智能時(shí)代的來臨，無論是在工業(yè)界還是學(xué)術(shù)界，人工神經(jīng)網(wǎng)絡(luò)研究收到了越來越多的關(guān)注和重視。

神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行性使它具有快速處理某些任務(wù)的潛在能力，這一特性使得神經(jīng)網(wǎng)絡(luò)很適合使用超大規(guī)模集成(Very Large Scale Integration VLSI)技術(shù)來實(shí)現(xiàn)。VLSI的一個(gè)特殊優(yōu)點(diǎn)是可以提供一個(gè)以高度分層的方式來捕捉真實(shí)復(fù)雜行為的方法。隨著微電子技術(shù)的發(fā)展，電子器件在尺寸、速度、成本等方面都有了很大的飛躍，硬件實(shí)人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)也開始商業(yè)化，其中卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network CNN)是最常用的神經(jīng)網(wǎng)絡(luò)模型。它作為一種前饋網(wǎng)絡(luò)結(jié)構(gòu)，層與層之間具有高度的獨(dú)立性。

在卷積神經(jīng)網(wǎng)絡(luò)模型中，需要進(jìn)行大量的卷積計(jì)算，同時(shí)也要耗費(fèi)大量的計(jì)算資源。因此硬件架構(gòu)中的PE Array的設(shè)計(jì)就顯得尤為關(guān)鍵，尤其是針對(duì)PE Array中的計(jì)算MAC單元。研究如何使得硬件資源在低功耗、高速的前提下實(shí)現(xiàn)卷積計(jì)算任務(wù)具有十分重要的意義，同時(shí)針對(duì)不同比特位數(shù)的權(quán)重值和input feature map值相乘運(yùn)算，如何做到硬件最大化的利用，如何使得計(jì)算速度更快，硬件架構(gòu)的設(shè)計(jì)在很大程度上限制了算法的應(yīng)用。許多硬件架構(gòu)并不能做到很好的折中，它們往往考慮到了如何提過硬件的利用率，卻忽視了執(zhí)行任務(wù)上的并行性問題；也有許多硬件架構(gòu)一味地追求執(zhí)行計(jì)算任務(wù)上的并行度，卻忽略了硬件的利用率。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種基于神經(jīng)網(wǎng)絡(luò)的計(jì)算陣列，以使得硬件資源在低功耗、高速的前提下實(shí)現(xiàn)卷積計(jì)算，同時(shí)做到硬件最大化的利用，并提高計(jì)算速度。

為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供了一種基于神經(jīng)網(wǎng)絡(luò)的計(jì)算陣列，所述計(jì)算陣列包括多個(gè)可重構(gòu)計(jì)算單元，每一所述可重構(gòu)計(jì)算單元包括(n+1)層多比特位寬乘法器，所述多比特位寬乘法器由上層至下層分別為：

2ⁿ個(gè)2²比特乘以2²比特的最小乘法單元；

2^n-1個(gè)2²比特乘以2³比特的乘法單元；

2^n-2個(gè)2³比特乘以2³比特的乘法單元；

2^n-3個(gè)2³比特乘以2⁴比特的乘法單元；

……

2^n-n個(gè)2ⁿ比特乘以2ⁿ比特的乘法單元；