[發(fā)明專利]低時延矩陣乘法部件

有效

• 申請?zhí)枺?/td>: 201880004328.7
• 申請日: 2018-05-17
• 公開（公告）號: CN109937416B
• 公開（公告）日: 2023-04-04
• 發(fā)明（設(shè)計）人: 安德魯·埃弗里特·菲爾普斯;諾曼·保羅·約皮
• 申請（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 李佳;周亞榮

1.一種被實施為二維脈動陣列的矩陣乘法部件，包括：

布置在所述脈動陣列的列中的多個單元，其中，所述多個單元中的每個單元包括：所述列中的每列中的多個權(quán)重移位寄存器中的權(quán)重移位寄存器、所述列中的每列中的多個權(quán)重矩陣寄存器中的權(quán)重矩陣寄存器以及所述列中的每列中的多個乘法部件中的乘法部件；

所述列中的每列的兩個移位鏈，所述每列的兩個移位鏈?zhǔn)怯芯€路徑，神經(jīng)網(wǎng)絡(luò)的權(quán)重輸入通過所述有線路徑來傳輸至該列中的多個權(quán)重移位寄存器，

其中，對于所述列中的每列中的每個單元：

所述權(quán)重移位寄存器只連接至所述兩個移位鏈中的一個移位鏈并且被配置為僅從所述兩個移位鏈中的該一個移位鏈接收所述權(quán)重輸入中的對應(yīng)權(quán)重輸入；

所述權(quán)重矩陣寄存器被配置為從所述權(quán)重移位寄存器接收所述對應(yīng)權(quán)重輸入并且存儲所述對應(yīng)權(quán)重輸入；以及

所述乘法部件耦合至所述權(quán)重矩陣寄存器并且被配置為從所述權(quán)重矩陣寄存器接收所述對應(yīng)權(quán)重輸入，所述乘法部件被配置為將所述對應(yīng)權(quán)重輸入與矢量數(shù)據(jù)輸入相乘以確定乘法結(jié)果。

2.根據(jù)權(quán)利要求1所述的矩陣乘法部件，其中，所述權(quán)重輸入是從包含所述權(quán)重輸入的矢量寄存器經(jīng)由所述兩個移位鏈來成對地傳輸?shù)摹?/p>

3.根據(jù)權(quán)利要求2所述的矩陣乘法部件，進一步包括所述列中的每列的保持寄存器，所述保持寄存器被配置為在無法從所述矢量寄存器中獲得權(quán)重輸入時保持和提供對應(yīng)權(quán)重輸入。

4.根據(jù)權(quán)利要求2所述的矩陣乘法部件，其中，當(dāng)在所述矢量寄存器處可獲得兩個權(quán)重輸入時，所述兩個權(quán)重輸入在時鐘周期上被移位到所述多個權(quán)重移位寄存器中的對應(yīng)權(quán)重移位寄存器。

5.根據(jù)權(quán)利要求3所述的矩陣乘法部件，其中，當(dāng)在所述矢量寄存器處無法獲得兩個權(quán)重輸入時：

在可獲得第一權(quán)重輸入的第一時鐘周期上，向所述保持寄存器加載所述第一權(quán)重輸入作為保持值，在第一時鐘周期沒有經(jīng)由所述兩個移位鏈傳輸所述保持值；以及

在隨后的時鐘周期上，當(dāng)可獲得第二權(quán)重輸入時，所述第二權(quán)重輸入和所述保持值通過所述兩個移位鏈被傳輸?shù)綄?yīng)權(quán)重移位寄存器，每個移位鏈傳輸對應(yīng)的保持值。

6.根據(jù)權(quán)利要求1至5中的任一項所述的矩陣乘法部件，其中：

每個移位鏈具有用于注入權(quán)重輸入的兩個注入點，所述兩個注入點包括：位于該列的頂部的第一點以及位于該列中的另一位置的第二點。

7.根據(jù)權(quán)利要求6所述的矩陣乘法部件，進一步包括：

矢量寄存器，所述矢量寄存器被配置為提供矢量輸入數(shù)據(jù)，所述矢量寄存器被配置為包含四個8位整數(shù)的打包集合，所述四個8位整數(shù)的打包集合中的每個表示分離的權(quán)重輸入。

8.根據(jù)權(quán)利要求7所述的矩陣乘法部件，其中：

所述四個8位整數(shù)中的兩個8位整數(shù)是在所述第一點處注入的；并且

所述四個8位整數(shù)中的另外兩個8位整數(shù)是在所述第二點處注入的。

9.根據(jù)權(quán)利要求1所述的矩陣乘法部件，其中，當(dāng)所述權(quán)重輸入位于所述權(quán)重矩陣寄存器中時，所述權(quán)重輸入用于多個乘法循環(huán)。

10.根據(jù)權(quán)利要求9所述的矩陣乘法部件，其中，在所述多個乘法循環(huán)期間，在準(zhǔn)備一個或多個乘法的下一集合時，將附加權(quán)重輸入傳輸?shù)剿鰴?quán)重移位寄存器中。

11.根據(jù)權(quán)利要求9所述的矩陣乘法部件，其中，在所述多個乘法循環(huán)期間，將從所述權(quán)重矩陣寄存器接收的另一對應(yīng)權(quán)重輸入與另一矢量數(shù)據(jù)輸入相乘以確定另一乘法結(jié)果。

12.根據(jù)權(quán)利要求1所述的矩陣乘法部件，其中，每時鐘周期所述矢量數(shù)據(jù)輸入移動一個多單元。

13.根據(jù)權(quán)利要求1所述的矩陣乘法部件，其中，在接收到指令時，基于所述指令來傳輸權(quán)重值。