[發明專利]一種硬件加速器的激勵數據分塊處理方法及硬件加速器

有效

• 申請號: 202111384780.0
• 申請日: 2021-11-22
• 公開（公告）號: CN114065927B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 賀迅;馬建平;劉友江;曹韜
• 申請（專利權）人: 中國工程物理研究院電子工程研究所
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/0464
• 代理公司: 中國工程物理研究院專利中心 51210
• 代理人: 任正平

1.一種硬件加速器的激勵數據分塊處理方法，其特征在于，所述硬件加速器對卷積神經網絡的激勵數據進行分塊并行處理，將分塊并行處理后的激勵數據存儲于共享激勵數據存儲單元中，所述分塊并行處理包括如下步驟：

1）AI硬件加速器在卷積網絡并行計算時，將卷積層分割為淺層卷積層和深層卷積層；具體為：AI硬件加速器在卷積網絡并行計算時，將淺層卷積層和深層卷積層的分割方法具體為：以最后一個不能將所有激勵數據全部保存于片內存儲單元的卷積層L為邊界卷積層,劃分淺層卷積層和深層卷積層，將邊界卷積層及邊界卷積層之前的卷積層，即卷積層1至卷積層L，稱為淺層卷積層；邊界卷積層之后的卷積層，即卷積層L+1及卷積層L+1之后的所有卷積層，稱為深層卷積層；

2）AI硬件加速器將淺層卷積層分塊；具體為：AI硬件加速器將淺層卷積層分塊的方法具體為：定義水平方向為輸入數據切分方向，將網絡的輸入數據切分為Y塊，且從上至下依次分為塊1、塊2、……、塊Y；

3）AI硬件加速器對分塊后的淺層卷積層采用右下數據進行卷積計算；具體為：AI硬件加速器對分塊后的淺層卷積層進行計算具體為：首先從最下方的分塊數據，包括按循環E方式執行塊內卷積計算、及按循環F方式執行塊間卷積計算，交替執行循環E及循環F，完成所有塊淺層卷積層計算，得到Y個計算結果，并將Y個計算結果保存在片內SRAM中；按循環E方式執行塊內卷積計算,具體為：循環E對當前的分塊按照卷積層1至卷積層L的順序進行獨立的卷積計算，針對當前塊的塊內卷積網絡，采用右下方數據進行卷積計算，在右端邊界處以右下padding的方式填充數據，完成當前塊的所有淺層卷積層的計算后，將卷積層L的計算結果保存于片內SRAM，同時將下一個分塊數據卷積計算所需的邊界數據保存于片內SRAM；按循環F方式執行塊間卷積計算，具體為：完成當前塊的所有淺層卷積層卷積計算后，按由下至上的順序，再進行下一分塊的淺層卷積層卷積計算，其中，各塊塊內卷積計算具體按循環E方式執行；依次完成所有分塊數據的全部淺層卷積層的卷積計算后，得到Y個計算結果，并將計算結果依次保存在片內SRAM中；

4）AI硬件加速器將完成所有淺層卷積層計算后得到的結果合并后作為深層卷積層的輸入數據，進行深層卷積層計算。

2.根據權利要求1所述的方法，其特征在于，將得到的Y個計算結果合并作為下一個卷積層（L+1）的輸入數據，完成深層卷積層計算。

3.一種基于權利要求1-2任意一項所述的硬件加速器的激勵數據分塊處理方法的硬件加速器，其特征在于，所述硬件加速器包括共享激勵數據存儲單元及寄存器陣列，所述硬件加速器對卷積神經網絡的激勵數據進行分塊并行處理，并將分塊后的激勵數據存儲于共享激勵數據存儲單元中，以實現硬件加速器激勵數據片外數據訪問為0。