[發明專利]一種規模可擴展的卷積神經網絡加速系統與方法

有效

• 申請號: 202010059180.6
• 申請日: 2020-01-19
• 公開（公告）號: CN111242289B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 何虎;趙爍
• 申請（專利權）人: 清華大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/063
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 段俊濤

1.一種規模可擴展的卷積神經網絡加速系統，包括處理器和至少一個卷積加速核，其特征在于，單個卷積加速核主要包括計算陣列、控制器和片上緩存，在擴展規模時，只需增加卷積加速核的數量，修改處理器上運行的程序，其它硬件模塊無需更改；所述計算陣列采用流水線形式，每個計算陣列單元包括供輸入特征映射和權重數據依次通過的乘加陣列、累加器和激活函數模塊；每個計算陣列單元中，所述乘加陣列用于將特征映射和權重相乘并累加得到結果，所述累加器用于在控制器的控制下將前一級乘加陣列得到的結果與已有的片上緩存輸入數據對應地累加到一起；所述控制器決定每一次卷積計算的循環次數以及是否需要累加或者激活，并給出片上緩存的使能信號和地址信息，從而使得不同卷積層的卷積計算得到正確的結果；所述片上緩存用來存儲特征映射、權重以及中間結果數據；

所述乘加陣列的規模決定卷積加速核的規模，每個乘加陣列由若干個級聯的乘加器組成，或者，每個乘加陣列采用乘法陣列和加法樹的結構，所述累加器由選擇器、加法器和SRAM構成，所述激活函數模塊實現ReLU、Leaky?ReLU和Bypass三種操作；

所述激活函數模塊分成兩部分，第一級根據控制信號將上一級累加器的結果和卷積核偏置相加，第二級則根據配置信號選擇一個激活函數通路，控制信號和配置信號均由控制器根據卷積計算流程和網絡配置產生并提供，其中ReLU數據通路根據結果的正負來決定輸出原數或者0；Leaky?ReLU數據通路中，當結果為正則輸出原數，當結果為負則將原數乘以一個系數輸出；Bypass操作則對數據通路產生的結果不作處理直接輸出。

2.根據權利要求1所述規模可擴展的卷積神經網絡加速系統，其特征在于，所述控制器根據卷積計算流程給出控制信號，所述累加器僅將卷積核窗口不同位置得到的結果和不同通道卷積核得到的結果累加到一起。

3.根據權利要求1所述規模可擴展的卷積神經網絡加速系統，其特征在于，所述控制器基于分塊技術和循環次序優化技術，使得網絡的計算盡可能減少數據在片上緩存與片外內存之間的傳輸，從而提高片上緩存上數據的復用率以及計算陣列的利用率。

4.根據權利要求1所述規模可擴展的卷積神經網絡加速系統，其特征在于，所述控制器的控制信息由處理器通過AXI總線給出，所述處理器為ARM處理器或RISCV處理器，所述卷積加速核集成于SoC中，其中各模塊與處理器之間采用AXI總線連接，卷積計算之外的其他計算，在不影響卷積加速的情況下用處理器來執行。

5.根據權利要求1所述規模可擴展的卷積神經網絡加速系統，其特征在于，所述規模的擴展方法為：擴大計算陣列，并根據實際情況，有選擇地擴展特征映射和權重的片上緩存。

6.基于權利要求1所述規模可擴展的卷積神經網絡加速系統的方法，其特征在于，在卷積神經網絡加速系統中，處理器運行網絡程序，當遇到卷積計算時，調用對應的API函數以便讓卷積加速核來執行操作，API函數包括數據重組函數、配置函數以及數據傳輸函數；其中，所述數據重組函數將數據排列方式按照卷積加速核所需要的格式重組；所述配置函數控制卷積加速核有序地執行一次分塊的卷積操作；所述數據傳輸函數將片外內存中的數據傳輸至片上緩存，或者將片上緩存中得到的最終結果傳輸回片外緩存。

7.根據權利要求6所述方法，其特征在于，所述格式重組包括：

在卷積加速核中，輸入特征映射按照分塊技術和優化的循環次序依次存儲通道、寬度和高度的數據，對應的卷積核權重和偏置同樣重組為數量、通道、寬度和高度的數據；卷積加速核的輸出特征映射結果返回至處理器前，將數據重組為處理器所需要的格式，即依次存儲寬度、高度和通道的數據；

所述配置函數中，對需要配置控制器的寄存器，在每個卷積層開始計算之前，處理器將該卷積層的參數傳輸至控制器，所述參數包括輸入特征映射的尺寸和通道數，卷積核的尺寸、通道數和個數以及激活函數的類型。