[發明專利]利用分塊GEMM的深度學習加速器架構

在審

• 申請號: 201910306082.5
• 申請日: 2019-04-17
• 公開（公告）號: CN110390390A
• 公開（公告）日: 2019-10-29
• 發明（設計）人: 王乃剛;崔正旭;K·高帕拉克里斯南;D·布蘭德
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06F7/483;G06F7/544
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 劉玉潔

1.一種方法，包括：

將計算矩陣配置為包括一組計算單元，其中每個計算單元包括乘法器和累加器，所述乘法器和所述累加器中的每一個使用至少一個浮點單元FPU形成；

將累加器陣列配置為包括一組外部累加器；

操作所述計算矩陣以使用第一輸入向量的第一塊和第二輸入向量的第一塊來產生塊點積；以及

操作所述累加器陣列以使用所述塊點積來輸出所述第一輸入向量和所述第二輸入向量的點積。

2.如權利要求1所述的方法，還包括：

響應于所述塊點積的精度，將所述累加器陣列中的外部累加器的位寬從第一位寬改變到第二位寬。

3.如權利要求1所述的方法，還包括：

響應于所述第一輸入向量的所述第一塊中的值的精度，將所述計算單元中的所述乘法器的位寬從第一位寬改變到第二位寬。

4.如權利要求1所述的方法，還包括：

響應于預期由所述乘法器產生的乘積的精度，將所述計算單元中的所述累加器的位寬從第一位寬改變到第二位寬。

5.如權利要求1所述的方法，還包括：

將所述第一輸入向量分塊為第一組塊，所述第一組塊中的每個塊包括來自所述第一輸入向量中的第一組值的值的非重疊子集，其中所述第一組塊包括所述第一輸入向量的所述第一塊；以及

將所述第二輸入向量分組為第二組塊，所述第二組塊中的每個塊包括來自所述第二輸入向量中的第二組值的值的非重疊子集，其中所述第二組塊包括所述第二輸入向量的所述第一塊。

6.如權利要求5所述的方法，其中，所述第一組塊中的每個塊具有第一大小。

7.如權利要求6所述的方法，其中，所述第二組塊中的每個塊具有第一大小。

8.如權利要求5所述的方法，其中，所述第一組塊中的兩個塊具有相對于彼此不同的大小。

9.如權利要求1所述的方法，還包括：

配置所述累加器陣列中的每個外部累加器以僅執行累加操作。

10.如權利要求1所述的方法，還包括：

使用具有第三位寬的第三FPU配置所述累加器陣列中的外部累加器。

11.如權利要求1所述的方法，其中，所述第三位寬超過在所述計算單元的所述累加器中使用的第二FPU的第二位寬。

12.如權利要求1所述的方法，還包括：

使用具有第一位寬的第一FPU配置所述乘法器；以及

使用具有第二位寬的第二FPU配置所述累加器。

13.一種計算機可用程序產品，所述計算機可用程序產品包括計算機可讀存儲設備和存儲在所述存儲設備上的程序指令，所存儲的程序指令能夠由處理器執行以使所述處理器執行如權利要求1-12中任一項所述的方法。

14.一種計算機系統，包括處理器、計算機可讀存儲器和計算機可讀存儲設備、以及存儲在所述存儲設備上的程序指令，所述程序指令用于由所述處理器經由所述存儲器執行以執行如權利要求1-12中任一項所述的方法。

15.一種包括用于執行如權利要求1-12中任一項所述的方法中的步驟的模塊的裝置。