[發(fā)明專利]一種支持自適應(yīng)并行計算的神經(jīng)網(wǎng)絡(luò)處理電路

有效

• 申請?zhí)枺?/td>: 202010794982.1
• 申請日: 2020-08-10
• 公開（公告）號: CN111738432B
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計）人: 周軍;賈叢含;闕祿穎;甘家彥
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 電子科技大學(xué)專利中心 51203
• 代理人: 鄧?yán)?/td>

本發(fā)明公開了一種支持自適應(yīng)并行計算的神經(jīng)網(wǎng)絡(luò)處理電路，屬于神經(jīng)網(wǎng)絡(luò)硬件實現(xiàn)技術(shù)領(lǐng)域。該電路包含指令控制器、交互單元、特征圖控制器、特征圖存儲單元、特征圖緩存單元、權(quán)重控制器、權(quán)重存儲單元、權(quán)重緩存單元、處理單元陣列；指令控制器中設(shè)置的并行模式判決器，根據(jù)當(dāng)前層的特征圖結(jié)構(gòu)和權(quán)重結(jié)構(gòu)，建立行并行模式、輸入通道并行模式、混合并行模式三種并行模式的層計算模型，計算并選取完成當(dāng)前層運算最少操作周期數(shù)的并行模式作為當(dāng)前層的并行模式。本發(fā)明支持具有任意大小的特征圖結(jié)構(gòu)和權(quán)重結(jié)構(gòu)的卷積網(wǎng)絡(luò)，對不同的卷積網(wǎng)絡(luò)能自適應(yīng)的得到最佳的計算方案，使乘法器最大效率利用，減少資源浪費，提升處理速度。

技術(shù)領(lǐng)域

本發(fā)明屬于神經(jīng)網(wǎng)絡(luò)硬件實現(xiàn)技術(shù)領(lǐng)域，涉及一種自適應(yīng)并行計算的神經(jīng)網(wǎng)絡(luò)處理電路，自適應(yīng)是指根據(jù)每一層的網(wǎng)絡(luò)結(jié)構(gòu)，自動選取并行模式，從而充分利用運算資源，提高硬件運算效率。

背景技術(shù)

隨著現(xiàn)代社會人工智能技術(shù)的不斷發(fā)展，深度學(xué)習(xí)算法的突破和當(dāng)前計算能力的增加，基于深度神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí)算法已經(jīng)在視覺、語音等多個領(lǐng)域中體現(xiàn)出了優(yōu)秀的性能。神經(jīng)網(wǎng)絡(luò)的模型規(guī)模日益復(fù)雜,這也就對執(zhí)行神經(jīng)網(wǎng)絡(luò)運算的處理結(jié)構(gòu)提出了要求。通用的馮諾依曼結(jié)構(gòu)處理器往往在能效比上難以提供令人滿意的性能。而針對神經(jīng)網(wǎng)絡(luò)的專用硬件加速器具有高并行度的特點，使神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和推理中進行的大量運算不再受傳統(tǒng)馮諾依曼結(jié)構(gòu)處理器的制約，因此成為一種合理的選擇。如今神經(jīng)網(wǎng)絡(luò)硬件加速器，主要分為處理大量數(shù)據(jù)的云端加速器如GPU、TPU，和在終端處理中小量數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)專用芯片。對于GPU和TPU這種云端硬件加速器，采用的方案為終端傳感器配合將采集的數(shù)據(jù)通過網(wǎng)絡(luò)送入云端集中計算。針對終端的專用神經(jīng)網(wǎng)絡(luò)加速芯片一般采用低比特量化，使用固定的并行模式，可以處理較為簡單的神經(jīng)網(wǎng)絡(luò)任務(wù)。

對于上文提到的一些現(xiàn)有的相關(guān)技術(shù)，如GPU和TPU等設(shè)備，盡管具有較高的并行度，且有完整的神經(jīng)網(wǎng)絡(luò)編程框架，但其成本較高，待機功耗大，無法應(yīng)用到較小的嵌入式物聯(lián)網(wǎng)終端當(dāng)中。而對于專用的神經(jīng)網(wǎng)絡(luò)芯片，多數(shù)只支持全連接神經(jīng)網(wǎng)絡(luò)的推理。支持卷積操作的神經(jīng)網(wǎng)絡(luò)芯片其并行卷積策略往往受限于卷積核大小，即每個周期內(nèi)處理的數(shù)據(jù)量多少，由卷積核形狀及大小決定。這種卷積策略并行模式固定，當(dāng)處理不同大小的卷積神經(jīng)網(wǎng)絡(luò)時，其處理單元在特征圖的邊緣會出現(xiàn)利用率低的情況。從而使推理速度變慢，增加整體功耗。

發(fā)明內(nèi)容

本發(fā)明針對上述問題提出了一種支持自適應(yīng)并行計算的神經(jīng)網(wǎng)絡(luò)處理電路。由于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的靈活性，本發(fā)明處理電路能夠針對每一層網(wǎng)絡(luò)結(jié)構(gòu)，自適應(yīng)的選取最為合適的并行計算策略。對于特征圖較大，通道數(shù)較少的優(yōu)先使用行并行卷積計算方案；對于通道數(shù)較多，特征圖較小的優(yōu)先使用輸入通道并行卷積計算方案；并且同一層內(nèi)還可混合使用兩種并行計算方案。

本發(fā)明采用的技術(shù)方案如下：

一種支持自適應(yīng)并行計算的神經(jīng)網(wǎng)絡(luò)處理電路，該處理電路包含指令控制器、交互單元、特征圖控制器、特征圖存儲單元、特征圖緩存單元、權(quán)重控制器、權(quán)重存儲單元、權(quán)重緩存單元、處理單元陣列。

所述指令控制器用于接收外部輸入命令，以及控制特征圖控制器、權(quán)重控制器和處理單元陣列。指令控制器中設(shè)置有并行模式判決器，并行模式判決器根據(jù)當(dāng)前層的特征圖結(jié)構(gòu)和權(quán)重結(jié)構(gòu)，計算行并行模式、輸入通道并行模式、混合并行模式三種并行模式完成當(dāng)前層運算各需要的操作周期數(shù)，選取最少操作周期數(shù)的并行模式作為當(dāng)前層的并行模式，若出現(xiàn)兩種及兩種以上并行模式的操作周期數(shù)同時為最少時，優(yōu)先選取行并行模式，輸入通道并行模式次之；然后指令控制器將相應(yīng)的并行模式指令分別發(fā)送給特征圖控制器、權(quán)重控制器和處理單元陣列。

所述交互單元與特征圖存儲單元、權(quán)重存儲單元相連，交互單元用于與外部進行數(shù)據(jù)交互，如初始數(shù)據(jù)的輸入、計算結(jié)果的輸出。

所述特征圖存儲單元用于存儲交互單元傳輸?shù)奶卣鲌D數(shù)據(jù)；所述權(quán)重存儲單元用于存儲交互單元傳輸?shù)臋?quán)重數(shù)據(jù)。