[發(fā)明專利]一種全片上存儲(chǔ)的神經(jīng)網(wǎng)絡(luò)加速器及其實(shí)現(xiàn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010512394.4
• 申請(qǐng)日: 2020-06-08
• 公開(kāi)（公告）號(hào): CN111401543B
• 公開(kāi)（公告）日: 2020-11-10
• 發(fā)明（設(shè)計(jì)）人: 陳喬喬;劉洪杰
• 申請(qǐng)（專利權(quán)）人: 深圳市九天睿芯科技有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/04
• 代理公司: 深圳國(guó)新南方知識(shí)產(chǎn)權(quán)代理有限公司 44374
• 代理人: 周雷

1.一種全片上存儲(chǔ)的神經(jīng)網(wǎng)絡(luò)加速器的實(shí)現(xiàn)方法，其特征在于，所述方法包括：

步驟1，根據(jù)當(dāng)前的神經(jīng)網(wǎng)絡(luò)模型，確定神經(jīng)網(wǎng)絡(luò)中輸出特征圖極小值所在的層；

步驟2，在陣列計(jì)算單元最大程度上能支持的多層融合計(jì)算的層中，如果最后一層的輸出特征圖的大小不超過(guò)片上存儲(chǔ)容量，則以最后一層作為多層融合計(jì)算的最后一層；如果最后一層的輸出特征圖的大小超過(guò)片上存儲(chǔ)容量，則以輸出特征圖極小值所在的層作為多層融合計(jì)算的最后一層；確定多層融合計(jì)算的層數(shù)；

步驟3，根據(jù)多層融合計(jì)算的層數(shù)，確定用于多層融合計(jì)算的陣列計(jì)算單元個(gè)數(shù)，申請(qǐng)陣列計(jì)算單元；

步驟4，所述多層融合計(jì)算的最后一層的輸出特征圖存儲(chǔ)在片上存儲(chǔ)器；

步驟5，根據(jù)步驟2確定多層融合的層數(shù)，根據(jù)步驟3申請(qǐng)陣列計(jì)算單元，讀取步驟4存儲(chǔ)在片上存儲(chǔ)器的特征圖并進(jìn)行多層融合計(jì)算，根據(jù)步驟4將多層融合計(jì)算的最后一層的輸出特征圖存儲(chǔ)到片上存儲(chǔ)器，多層融合計(jì)算完成的層對(duì)應(yīng)的陣列計(jì)算單元被釋放，重復(fù)上述過(guò)程，直至多層融合計(jì)算完整個(gè)神經(jīng)網(wǎng)絡(luò)的所有層。

2.如權(quán)利要求1所述的方法，其特征在于，多層融合計(jì)算的最后一層的輸出特征圖大小不超過(guò)片上存儲(chǔ)容量。

3.如權(quán)利要求2所述的方法，其特征在于，未用于多層融合計(jì)算或者被釋放的陣列計(jì)算單元，可用于存儲(chǔ)待計(jì)算層需要預(yù)加載的權(quán)重。

4.如權(quán)利要求3所述的方法，其特征在于，神經(jīng)網(wǎng)絡(luò)輸出特征圖在預(yù)定層出現(xiàn)極小值。

5.如權(quán)利要求4所述的方法，其特征在于，神經(jīng)網(wǎng)絡(luò)中輸出特征圖極小值所在的層相間隔的層數(shù)是相等的。

6.如權(quán)利要求5所述的方法，其特征在于，以MobileNet-YOLOv3為神經(jīng)網(wǎng)絡(luò)模型，神經(jīng)網(wǎng)絡(luò)中輸出特征圖極小值所在的層相間隔的層數(shù)是三層。

7.如權(quán)利要求4所述的方法，其特征在于，神經(jīng)網(wǎng)絡(luò)中輸出特征圖極小值所在的層相間隔的層數(shù)是不相等的。

8.一種全片上存儲(chǔ)的神經(jīng)網(wǎng)絡(luò)加速器，其特征在于，包括：

控制器，向加載模塊、計(jì)算陣列、后處理模塊和存儲(chǔ)模塊發(fā)送控制指令；

加載模塊，根據(jù)控制指令從片上緩沖器加載特征圖和權(quán)重到計(jì)算陣列；

計(jì)算陣列，包括多個(gè)陣列計(jì)算單元，所述計(jì)算陣列根據(jù)控制指令接收從加載模塊輸出的特征圖和權(quán)重，將運(yùn)算結(jié)果輸出到后處理模塊或者存儲(chǔ)模塊；

后處理模塊，根據(jù)控制指令接收運(yùn)算結(jié)果，進(jìn)行后處理并將處理結(jié)果輸出給存儲(chǔ)模塊；

存儲(chǔ)模塊，根據(jù)控制指令將輸出特征圖存儲(chǔ)到片上緩沖器，所述輸出特征圖是運(yùn)算結(jié)果或處理結(jié)果；所述輸出特征圖的大小不超過(guò)片上緩沖器的存儲(chǔ)容量；

片上緩沖器，存儲(chǔ)特征圖；當(dāng)再次確定多層融合計(jì)算的層數(shù)和陣列計(jì)算單元個(gè)數(shù)后，申請(qǐng)陣列計(jì)算單元，加載模塊根據(jù)控制器下發(fā)的控制指令讀取片上緩沖器中的輸出特征圖和權(quán)重到計(jì)算陣列，存儲(chǔ)模塊根據(jù)控制器下發(fā)的控制指令將計(jì)算完的輸出特征圖存儲(chǔ)到片上緩沖器，釋放多層融合計(jì)算完成的層對(duì)應(yīng)的陣列計(jì)算單元，重復(fù)上述過(guò)程，直至多層融合計(jì)算完整個(gè)神經(jīng)網(wǎng)絡(luò)的所有層，輸出最終結(jié)果。