[發明專利]低時延矩陣乘法部件

有效

• 申請號: 201880004328.7
• 申請日: 2018-05-17
• 公開（公告）號: CN109937416B
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 安德魯·埃弗里特·菲爾普斯;諾曼·保羅·約皮
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李佳;周亞榮

1.一種被實施為二維脈動陣列的矩陣乘法部件，包括：

布置在所述脈動陣列的列中的多個單元，其中，所述多個單元中的每個單元包括：所述列中的每列中的多個權重移位寄存器中的權重移位寄存器、所述列中的每列中的多個權重矩陣寄存器中的權重矩陣寄存器以及所述列中的每列中的多個乘法部件中的乘法部件；

所述列中的每列的兩個移位鏈，所述每列的兩個移位鏈是有線路徑，神經網絡的權重輸入通過所述有線路徑來傳輸至該列中的多個權重移位寄存器，

其中，對于所述列中的每列中的每個單元：

所述權重移位寄存器只連接至所述兩個移位鏈中的一個移位鏈并且被配置為僅從所述兩個移位鏈中的該一個移位鏈接收所述權重輸入中的對應權重輸入；

所述權重矩陣寄存器被配置為從所述權重移位寄存器接收所述對應權重輸入并且存儲所述對應權重輸入；以及

所述乘法部件耦合至所述權重矩陣寄存器并且被配置為從所述權重矩陣寄存器接收所述對應權重輸入，所述乘法部件被配置為將所述對應權重輸入與矢量數據輸入相乘以確定乘法結果。

2.根據權利要求1所述的矩陣乘法部件，其中，所述權重輸入是從包含所述權重輸入的矢量寄存器經由所述兩個移位鏈來成對地傳輸的。

3.根據權利要求2所述的矩陣乘法部件，進一步包括所述列中的每列的保持寄存器，所述保持寄存器被配置為在無法從所述矢量寄存器中獲得權重輸入時保持和提供對應權重輸入。

4.根據權利要求2所述的矩陣乘法部件，其中，當在所述矢量寄存器處可獲得兩個權重輸入時，所述兩個權重輸入在時鐘周期上被移位到所述多個權重移位寄存器中的對應權重移位寄存器。

5.根據權利要求3所述的矩陣乘法部件，其中，當在所述矢量寄存器處無法獲得兩個權重輸入時：

在可獲得第一權重輸入的第一時鐘周期上，向所述保持寄存器加載所述第一權重輸入作為保持值，在第一時鐘周期沒有經由所述兩個移位鏈傳輸所述保持值；以及

在隨后的時鐘周期上，當可獲得第二權重輸入時，所述第二權重輸入和所述保持值通過所述兩個移位鏈被傳輸到對應權重移位寄存器，每個移位鏈傳輸對應的保持值。

6.根據權利要求1至5中的任一項所述的矩陣乘法部件，其中：

每個移位鏈具有用于注入權重輸入的兩個注入點，所述兩個注入點包括：位于該列的頂部的第一點以及位于該列中的另一位置的第二點。

7.根據權利要求6所述的矩陣乘法部件，進一步包括：

矢量寄存器，所述矢量寄存器被配置為提供矢量輸入數據，所述矢量寄存器被配置為包含四個8位整數的打包集合，所述四個8位整數的打包集合中的每個表示分離的權重輸入。

8.根據權利要求7所述的矩陣乘法部件，其中：

所述四個8位整數中的兩個8位整數是在所述第一點處注入的；并且

所述四個8位整數中的另外兩個8位整數是在所述第二點處注入的。

9.根據權利要求1所述的矩陣乘法部件，其中，當所述權重輸入位于所述權重矩陣寄存器中時，所述權重輸入用于多個乘法循環。

10.根據權利要求9所述的矩陣乘法部件，其中，在所述多個乘法循環期間，在準備一個或多個乘法的下一集合時，將附加權重輸入傳輸到所述權重移位寄存器中。

11.根據權利要求9所述的矩陣乘法部件，其中，在所述多個乘法循環期間，將從所述權重矩陣寄存器接收的另一對應權重輸入與另一矢量數據輸入相乘以確定另一乘法結果。

12.根據權利要求1所述的矩陣乘法部件，其中，每時鐘周期所述矢量數據輸入移動一個多單元。

13.根據權利要求1所述的矩陣乘法部件，其中，在接收到指令時，基于所述指令來傳輸權重值。