[發明專利]多維度并行的人工智能處理器架構

有效

• 申請號: 202110281878.7
• 申請日: 2021-03-16
• 公開（公告）號: CN113191491B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 李兆亮;黃權;王辰琛
• 申請（專利權）人: 杭州慧芯達科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08
• 代理公司: 浙江永鼎律師事務所 33233
• 代理人: 陸永強;張曉英

1.一種多維度并行的人工智能處理器架構，其特征在于，包括用于多維度數據并行處理的計算核心陣列(2)，所述的計算核心陣列(2)連接有控制與線程調度核心(1)及Tensor緩存控制器(7)，所述的計算核心陣列(2)包括多個至少在兩個維度上陣列分布的計算模塊，控制與線程調度核心(1)用于控制計算核心陣列(2)上線程的調度與切換，Tensor緩存控制器(7)連接于主存(5)，用于計算核心陣列(2)上計算模塊與主存(5)之間的數據交換；

每個計算模塊包括一個計算核心及附接于計算核心的Tensor緩存，Tensor緩存與主存(5)中的關聯矩陣相關聯，并利用關聯關系進行Tensor緩存與主存(5)之間的數據交換，且所述的關聯矩陣被定義為：

matrix[i][j][k]；0≤i＜N1,0≤j＜N2,0≤K＜N3

N1、N2和N3分別為關聯矩陣在三個維度上的最大值；

Tensor緩存的Tensor結構變量tensor被定義為

tensor{BLOCK.x,BLOCK.y,BLOCK.z}{SLICE.x,SLICE.y}{CORE.x,CORE.y}

其中，{BLOCK.x,BLOCK.y,BLOCK.z}對應Tensor存儲體中物理維度的z維度；

{SLICE.x,SLICE.y}對應于計算核心陣列(2)中計算核心的二維陣列；

{CORE.x,CORE.y}對應于Tensor存儲體中物理維度的x維度和y維度；

0≤SLICE.x＜SLICE.X；0≤SLICE.y＜SLICE.Y，

0≤CORE.x＜CORE.X,0≤CORE.y＜CORE.Y，SLICE.X和SLICE.Y分別為計算核心陣列(2)的行數和列數，CORE.X和CORE.Y分別為Tensor緩存中每個Tensor存儲體x和y維度上的最大值；

所述的關聯關系包括以下方式的任意一種或多種的組合：

1)利用Tensor的BLOCK前兩維、SLICE維和CORE維來對應關聯矩陣的低二維j和k，Block的最后一維對應關聯矩陣的高維i：

i＝BLOCK.z

j＝BLOCK.x×SLICE.X×CORE.X+SLICE.x×CORE.X+CORE.x+V_OFFSET

k＝BLOCK.y×SLICE.Y×CORE.Y+SLICE.y×CORE.Y+CORE.y+H_OFFSET

2)利用Tensor的BLOCK維和SLICE維來對應關聯矩陣的低二維j和k，CORE維對應關聯矩陣的高維i：

i＝BLOCK.z×CORE.X×CORE.Y+CORE.y×CORE.Y+CORE.x

j＝BLOCK.x×SLICE.X+SLICE.x+V_OFFSET

k＝BLOCK.y×SLICE.Y+SLICE.y+H_OFFSET

3)將CORE維拆分分配給不同的維度：

i＝BLOCK.z×CORE.Y+CORE.y

j＝BLOCK.x×SLICE.X×CORE.X+SLICE.x×CORE.X+CORE.x+V_OFFSET

k＝BLOCK.y×SLICE.Y+SLICE.y+H_OFFSET

或

i＝BLOCK.z×CORE.X+CORE.x

j＝BLOCK.x×SLICE.X+SLICE.x+V_OFFSET

k＝BLOCK.y×SLICE.Y×CORE.Y+SLICE.y×CORE.Y+CORE.y+H_OFFSET

其中，{V_OFFSET，H_OFFSET}為關聯矩陣與tensor之間的頂點偏移關系。

2.根據權利要求1所述的多維度并行的人工智能處理器架構，其特征在于，每個計算核心具有用于訪存本計算核心對應的Tensor緩存的訪存部件以使每個Tensor緩存與計算核心之間具有獨立的訪存帶寬；

陣列分布的計算核心之間通過核間通信模塊進行計算核心之間的數據交換。

3.根據權利要求2所述的多維度并行的人工智能處理器架構，其特征在于，所述的核間通信模塊包括垂直通信網絡和水平通信網絡，所述的水平通信網絡用于數據的水平循環移動，或水平廣播，或水平循環移動和水平廣播，所述的垂直通信網絡用于數據的垂直循環移動，或垂直廣播，或垂直循環移動和垂直廣播。