[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)加速器卷積計算和數(shù)據(jù)載入并行方法及裝置

有效

• 申請?zhí)枺?/td>: 202110707419.0
• 申請日: 2021-06-25
• 公開（公告）號: CN113254391B
• 公開（公告）日: 2021-11-02
• 發(fā)明（設(shè)計）人: 朱國權(quán);陸啟明;凡軍海;楊方超;金孝飛;孫世春;章明;何煜坤;馬德;胡有能
• 申請（專利權(quán)）人: 之江實驗室;浙江大學(xué)
• 主分類號: G06F15/78
• 分類號: G06F15/78;G06N3/04;G06N3/063
• 代理公司: 杭州浙科專利事務(wù)所(普通合伙) 33213
• 代理人: 孫孟輝

本發(fā)明公開了一種神經(jīng)網(wǎng)絡(luò)加速器卷積計算和數(shù)據(jù)載入并行方法及裝置，該并行方式各需要兩塊輸入特征圖和卷積核緩存塊，將輸入特征圖和64個卷積核根據(jù)載入長度依次存入各個緩存子塊中，一邊高效的執(zhí)行卷積計算，一邊實現(xiàn)下一組64卷積核的數(shù)據(jù)載入。一般的神經(jīng)網(wǎng)絡(luò)需要成百上千的卷積核，將其全部存儲在片上需要大量的存儲空間，這樣會使芯片面積較大，相應(yīng)制造成本增加。本發(fā)明在保證卷積高效計算的同時顯著降低片上存儲空間，其減小了芯片面積，進而降低芯片成本，其實現(xiàn)方式簡單，靈活可控，且與具體的神經(jīng)網(wǎng)絡(luò)層數(shù)無關(guān)。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)計算領(lǐng)域，尤其是涉及一種神經(jīng)網(wǎng)絡(luò)加速器卷積計算和數(shù)據(jù)載入并行方法及裝置。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)一經(jīng)出現(xiàn)就成為了學(xué)術(shù)界和工業(yè)界的研究熱點，隨著研究的不斷深入，各種各樣的神經(jīng)網(wǎng)絡(luò)被提出，其中就包括深度達到幾百層，參數(shù)成千上萬的大型網(wǎng)絡(luò)。目前主要的研究工作使用圖形處理器（GPU）完成，GPU操作簡單，編程方便，對于訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)具有先天優(yōu)勢，但同時也存在缺點，在執(zhí)行一些推理應(yīng)用方面，尤其是大批量的終端部署，耗電量巨大，成本較高。

2016年3月，谷歌AlphaGo擊敗圍棋世界冠軍、職業(yè)九段棋手李世石，此后對于神經(jīng)網(wǎng)絡(luò)加速器的研究如雨后春筍，各種新型架構(gòu)的神經(jīng)網(wǎng)絡(luò)加速器應(yīng)運而生。

總體而言，神經(jīng)網(wǎng)絡(luò)加速器的構(gòu)成主要包括數(shù)據(jù)輸入輸出緩存單元、卷積計算單元、量化單元、矢量計算單元、池化單元等。各個模塊相對獨立而又相互關(guān)聯(lián)。現(xiàn)有技術(shù)一般是提前準(zhǔn)備好輸入特征圖和卷積核權(quán)重，根據(jù)卷積指令計算卷積，輸出結(jié)果，然后繼續(xù)輸入特征圖和卷積核權(quán)重，計算卷積等。現(xiàn)有技術(shù)原理簡單直接，容易理解，但沒有充分考慮各種操作之間的并行性，使得大型神經(jīng)網(wǎng)絡(luò)推理時間過長，特別對于實時性要求比較高的目標(biāo)檢測類神經(jīng)網(wǎng)絡(luò)，實時性變差會引起網(wǎng)絡(luò)的漏檢，繼而嚴重影響性能。同時，由于現(xiàn)有技術(shù)缺乏并行性，而為了保證計算的正常進行大量的卷積核需要存放在片上，因此使得片上卷積核緩存較大，繼而芯片面積增加，成本增加。

因此，需要一種神經(jīng)網(wǎng)絡(luò)加速器卷積計算和數(shù)據(jù)載入的并行方式。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)的不足，實現(xiàn)提高神經(jīng)網(wǎng)絡(luò)計算效率，降低成本的目的，本發(fā)明采用如下的技術(shù)方案：

一種神經(jīng)網(wǎng)絡(luò)加速器卷積計算和數(shù)據(jù)載入并行方法，包括如下步驟：

S1，按照輸入特征圖存放要求，將一幀輸入特征圖全部存入輸入特征圖緩存，按輸入特征圖的通道，分散存儲在64塊輸入特征圖子緩存中；

S2，按照卷積核存放要求，將一組64個卷積核依次送入第一卷積核緩存中對應(yīng)的64個卷積核緩存子塊中；

S3，載入輸入特征圖緩存和第一卷積核緩存，執(zhí)行卷積計算，將結(jié)果放入輸出特征圖緩存，同時將下一組64個卷積核存入第二卷積核緩存中對應(yīng)的64個卷積核緩存子塊中；

S4，本層卷積計算完成后，將輸入、輸出特征圖緩存互換，將存有有效權(quán)重的卷積核緩存作為第一卷積核緩存，執(zhí)行S3；兩個計算使用握手協(xié)議，當(dāng)同時結(jié)束之后才可進行下一層卷積計算；

S5，等待本網(wǎng)絡(luò)所有卷積計算完成后，根據(jù)指令寄存器的設(shè)定載入下一幀輸入特征圖。

進一步地，所述S3包括如下步驟：

S31，載入輸入特征圖指令參數(shù)鎖存，載入卷積核指令參數(shù)鎖存，啟動神經(jīng)網(wǎng)絡(luò)加速器，從指令模塊中依次讀取指令，如果當(dāng)前指令是輸入特征圖載入指令，則鎖存片外輸入特征圖存放地址以及載入輸入特征圖長度；如果當(dāng)前指令是卷積核載入指令，則鎖存當(dāng)前載入卷積核數(shù)目、載入卷積核長度、卷積核緩存起始地址以及片外卷積核存放地址；