[發明專利]多維度并行的人工智能處理器架構

有效

• 申請號: 202110281878.7
• 申請日: 2021-03-16
• 公開（公告）號: CN113191491B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 李兆亮;黃權;王辰琛
• 申請（專利權）人: 杭州慧芯達科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08
• 代理公司: 浙江永鼎律師事務所 33233
• 代理人: 陸永強;張曉英

本發明提供了一種多維度并行的人工智能處理器架構，包括用于多維度數據并行處理的計算核心陣列，所述的計算核心陣列連接有控制與線程調度核心及Tensor緩存控制器，所述的計算核心陣列包括多個至少在兩個維度上陣列分布的計算模塊，控制與線程調度核心用于控制計算核心陣列上線程的調度與切換，Tensor緩存控制器連接于主存，用于計算核心陣列上計算模塊與主存之間的數據交換。采用多維度并行開發的方式解決卷積網絡層大計算量的問題；解決計算問題的同時解決池化、全連接層等計算/訪存比較低，需優化訪存帶寬的問題。

技術領域

本發明屬于芯片設計技術領域，尤其是涉及一種多維度并行的人工智能處理器架構。

背景技術

矩陣乘、圖像插值以及卷積網絡等算法中，算法的運算過程具有較大的計算量，尤其是卷積網絡算法，例如用于圖片分類的AlexNet、GoogleNet、ResNet和VGG網絡，用于目標識別的R-CNN、YOLO、YOLO2和SSD等網絡，生成網絡GAN和VAX等網絡中，卷積層中的卷積運算是一種很耗費能效數據，計算量很大的運算，需要采用一定的手段提高運算處理效率以提高整個算法的速度。并且，數據在有限帶寬的傳輸中也會造成計算過程的瓶頸，此外，池化層、全連接層等計算/訪存比較低，需優化訪存帶寬的使用。

現有技術中，人們提出了一種多核異構處理器，在異構方式下一般是某些核心用于管理調度，另外一些核心用于特定的性能加速，處理器之間松耦合，通過共享總線、交叉開關互聯和片上網絡互聯，采用off-load的工作模式，并未考慮訪存帶寬問題。無法從本質上解決卷積運算過程中由于有限帶寬的傳輸對計算過程造成瓶頸的問題，沒有解決池化、全連接層等計算/訪存比較低，需優化訪存帶寬的問題。

發明內容

本發明的目的是針對上述問題，提供一種多維度并行的人工智能處理器架構。

一種多維度并行的人工智能處理器架構，包括用于多維度數據并行處理的計算核心陣列，所述的計算核心陣列連接有控制與線程調度核心及Tensor緩存控制器，所述的計算核心陣列包括多個至少在兩個維度上陣列分布的計算模塊，控制與線程調度核心用于控制計算核心陣列上線程的調度與切換，Tensor緩存控制器連接于主存，用于計算核心陣列上計算模塊與主存之間的數據交換。

在上述的多維度并行的人工智能處理器架構中，每個計算模塊包括一個計算核心及附接于計算核心的Tensor緩存，且每個計算核心具有用于訪存本計算核心對應的Tensor緩存的訪存部件以使每個Tensor緩存與計算核心之間具有獨立的訪存帶寬；

陣列分布的計算核心之間通過核間通信模塊進行計算核心之間的數據交換。

在上述的多維度并行的人工智能處理器架構中，所述的核間通信模塊包括垂直通信網絡和水平通信網絡，所述的水平通信網絡用于數據的水平循環移動和/或水平廣播，所述的垂直通信網絡用于數據的垂直循環移動和/或垂直廣播。

在上述的多維度并行的人工智能處理器架構中，每個Tensor緩存均包括構成二維陣列的多個Tensor存儲體，每個Tensor存儲體保存一個對應的Tensor，且每個Tensor存儲體具有用于表示當前Tensor存儲體所保存的Tensor的獨立標簽。

在上述的多維度并行的人工智能處理器架構中，每個Tensor存儲體在(x,y,z)三個維度上進行數據索引，其中x維度和y維度分別為Tensor緩存中Tensor存儲體所構成二維陣列的x維度和y維度，z維度上的地址保存在Tensor存儲體的索引中。

在上述的多維度并行的人工智能處理器架構中，每個Tensor緩存為一個Tensor緩存片，每個Tensor緩存片由一個Bolck塊在二維空間上被切分而得，每個Block塊由Tensor高速緩存在第三維空間上被切分而得，且由Block塊的三個維度構成所述Tensor存儲體的z維度。