[發明專利]一種人工智能加速引擎和人工智能處理器

有效

• 申請號: 202011018763.0
• 申請日: 2020-09-24
• 公開（公告）號: CN112232517B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 賈兆榮;景璐;楊繼林
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F7/544;G06F17/16
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張騰;張元

1.一種人工智能加速引擎，其特征在于，包括：

緩存模塊，所述緩存模塊配置為緩存所述加速引擎的當前任務的指令和配置數據；

譯碼模塊，所述譯碼模塊配置為從所述緩存模塊獲取所述指令并將所述指令進行解碼；

數據處理模塊，所述數據處理模塊包括多維乘加計算單元、標量計算單元和向量計算單元，所述數據處理模塊接收所述譯碼模塊解碼后的指令并基于解碼后的指令將數據發送到所述多維乘加計算單元、標量計算單元和向量計算單元中的一個或多個進行數據處理，所述數據處理模塊處理數據包括以下步驟：根據向量指令取出LMUL組weight向量，并分別緩存在每個MAC行的模型參數向量緩存區中，每個時鐘周期取出一組data向量存放到數據向量緩存區中，并發送給所有的LMUL組weight向量共用，計算weight向量被復用次數個時鐘周期里的數據，并不斷地從SRAM中加載weight 向量并緩存到已經清空的模型參數向量緩存區中，當上一組weight向量的復用計算完成后，將模型參數向量緩存區中的weight向量并行的加載到MAC整列中；

存儲模塊，所述存儲模塊配置為存儲所述加速引擎進行數據處理所需的數據以及所述數據處理模塊處理后的數據。

2.根據權利要求1所述的加速引擎，其特征在于，所述多維乘加計算單元包括二維乘加計算單元和三維乘加計算單元。

3.根據權利要求2所述的加速引擎，其特征在于，所述二維乘加計算單元包括：

數據向量緩存區，所述數據向量緩存區配置為每個時鐘周期存儲一組待處理的數據向量；

模型參數向量緩存區，模型參數向量緩存區配置為緩存處理所述數據向量需要的模型參數；

乘加計算單元陣列，所述乘加計算單元陣列由多行乘加計算單元組成，每個所述乘加計算單元都有一個所述模型參數向量緩存區；

累加器，所述累加器配置為將所述乘加計算單元陣列處理后的數據進行累加以得到最終結果。

4.根據權利要求3所述的加速引擎，其特征在于，所述三維乘加計算單元由多個所述二維乘加計算單元并行排列組成。

5.根據權利要求3所述的加速引擎，其特征在于，所述二維乘加計算單元配置為將進行數據處理所需的多組模型參數同時緩存到所述乘加計算單元陣列中的每個所述模型參數向量緩存區中，每個時鐘周期使用所述多組模型參數中的一個模型參數進行數據處理。

6.根據權利要求3所述的加速引擎，其特征在于，所述累加器包括：

中間結果緩存區，所述中間結果緩存區配置為緩存累加計算的中間結果；

最終結果緩存區，所述最終結果緩存區配置為緩存所述累加計算的最終結果，并將所述最終結果發送到所述存儲模塊中。

7.根據權利要求1所述的加速引擎，其特征在于，所述標量計算單元包括：

數據緩存區，所述數據緩存區配置為在進行數據處理前將數據保存在數據緩存區中；

計算單元，所述計算單元包括加減計算區、乘除計算區、邏輯運算區和非線性運算區，所述計算單元接收進行數據處理的指令，并基于指令將數據從所述數據緩存區中讀取到相應的區塊進行數據處理，并將處理后的數據重傳到所述數據緩存區中。

8.根據權利要求1所述的加速引擎，其特征在于，所述數據處理模塊還配置為通過多條級聯總線將所述標量計算單元連接到所述多維乘加計算單元，將所述向量計算單元連接到所述標量計算單元，所述標量計算單元和所述向量計算單元都可以接收所述多維乘加計算單元處理后的數據并將處理后的數據做進一步處理。

9.根據權利要求1所述的加速引擎，其特征在于，所述標量計算單元和所述向量計算單元都設置有在線模式和離線模式，當設置為所述在線模式時，所述標量計算單元和所述向量計算單元都接收所述多維乘加計算單元處理后的數據并將處理后的數據做進一步處理，當設置為所述離線模式時，所述標量計算單元和所述向量計算單元只接收所述存儲模塊的數據進行數據處理。

10.一種人工智能處理器，所述人工智能處理器包括如權利要求1-9任一項所述的人工智能加速引擎。