[發明專利]一種深度卷積神經網絡硬件并行加速器的硬件裝置及方法

在審

• 申請號: 201910269470.0
• 申請日: 2019-04-04
• 公開（公告）號: CN111783966A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 林森;何一波;李玨
• 申請（專利權）人: 北京芯啟科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06N3/04
• 代理公司: 北京名華博信知識產權代理有限公司 11453
• 代理人: 李冬梅;苗源

1.一種深度卷積神經網絡硬件并行加速器的硬件裝置，其特征在于，包括：

并行乘、加計算執行單元陣列，以執行矩陣或/和向量數據的乘法、加減法的并行運算為主；

數據載入裝置，對上述深度卷積神經網絡算法所需要的大量數據進行提取、排布及輸入，以及相關的控制；

數據輸出裝置，對計算執行單元陣列的輸出結果進行提取、排布及存回，以及相關的控制；

向量或/和標量其他特殊計算執行單元及其存取數據裝置，對深度卷積神經網絡算法中的其他關鍵算子進行加速執行；

中央控制裝置，通過可編程指令完成對上述4個子裝置的總體控制、調度；

所述5個子裝置中均設置有中間存儲及緩沖區域，對主存儲器進行讀取與寫入，對指令以及中間數據進行緩存，同時也能彼此隨機訪問。

2.根據權利要求1所述的深度卷積神經網絡硬件并行加速器的硬件裝置，其特征在于，對于深度卷積神經網絡算法中的關鍵算子例如卷積、池化(pooling)、激活等等，以及關鍵的張量切分、融合、轉置等等操作，并不統統作為硬件算子，也不統一對數據算子進行指令化，而是根據上述人工智能神經網絡算法層與裝置芯片實現的方法和規模，對所處理的運算數據做特定的層級、宏塊的劃分方式，并與對應需要的硬件功能融合，再進行指令化封裝設計。

3.根據權利要求1-2所述的深度卷積神經網絡硬件并行加速器的硬件裝置，其特征包括：

能夠通過軟件編程來動態配置并行計算算子的數據調度辦法，包括輸入數據的部分行駐留、代表神經元突觸的權重數據駐留以及臨時輸出數據駐留；

能夠通過軟件編程來動態配置并行計算的輸入和輸出數據排布方式，

數據格式；

能夠通過軟件編程來動態配置并行計算執行單元的并行效率、并行工作的方式，例如對多種卷積核尺寸、運算間隔數據距離的差別，配合上述調度辦法與排布方式進行配置。

4.根據權利要求1-3所述的深度卷積神經網絡硬件并行加速器的硬件裝置進行硬件設計的方法，其特征在于：

依據特定領域、產業場景的常用神經網絡算法的計算需求，根據本發明的硬件裝置可達到的理論算力區間，換算硬件并行執行單元的數目；

根據算力和算法特點，向輸入、輸出方向進行一定方法的推算，得到其他陣列的規模和數據吞吐性能需求，并進一步推算得到緩存的規模，完成該裝置的原型定型。

5.根據權利要求1-3所述的深度卷積神經網絡硬件并行加速器的硬件裝置進行運算的方法，其特征在于：

對于深度卷積神經網絡算法中的矩陣算子例如卷積、池化、全連接和

其他算法可以轉化為矩陣運算的某些步驟，是通過并行乘、加計算執行單元陣列加速執行；

對于上述算法中的非矩陣算子，若無法轉化為矩陣運算，則是通過向量或/和標量其他特殊計算執行單元及其存取數據裝置來加速執行；

兩種計算執行單元，和主存儲器之間，是通過各自特定設計的存取數據裝置完成數據的隨機訪問。

6.根據權利要求5所述的深度卷積神經網絡硬件并行加速器的硬件裝置進行矩陣運算的實現方法，其特征在于，并行乘、加計算執行單元陣列與數據載入裝置中的本地緩存寄存器不是全地址連接、可訪問全部緩存空間的，而是結合權利要求3所述的軟件可配置的工作方式，設計實現為緩存地址區域局部可訪問。

7.根據權利要求1所述的深度卷積神經網絡硬件并行加速器的硬件裝置及其數據調度方法，其特征在于：

數據輸入輸出裝置具有片上模塊內專用緩存，并可以與其他計算執行單元的相關緩存進行隨機訪問；

具有一定規模的主存儲器將作為主要的性能緩沖器和計算中間結果暫存的空間；

中央控制裝置包括一個通用中央處理器和一套可擴展的高性能配置裝置，在不同神經網絡的算法層、數據宏塊層進行調度，對上述子裝置進行快速配置。