[發明專利]低時延矩陣乘法部件

有效

• 申請號: 201880004328.7
• 申請日: 2018-05-17
• 公開（公告）號: CN109937416B
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 安德魯·埃弗里特·菲爾普斯;諾曼·保羅·約皮
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李佳;周亞榮

公開了用于實施為單元的脈動陣列的矩陣乘法部件的方法、系統和設備。所述矩陣乘法部件可以包括布置在所述脈動陣列的列中的單元。所述脈動陣列的每一列的兩個權重移位寄存器鏈布置在所述矩陣乘法部件中。每個權重移位寄存器只連接至一個鏈，并且每個單元只連接至一個權重移位寄存器。每單元的權重矩陣寄存器配置為存儲從權重移位寄存器接收到的權重輸入。乘法部件耦合至所述權重矩陣寄存器并且配置為將所述權重矩陣寄存器的所述權重輸入與矢量數據輸入相乘以獲得乘法結果。

技術領域

本說明書涉及在硬件中執行神經網絡計算。

背景技術

神經網絡是采用一個或者多個模型層來生成接收到的輸入的輸出例如分類的機器學習模型。除了輸出層之外，一些神經網絡還包括一個或者多個隱藏層。每個隱藏層的輸出用作網絡中的下一層即網絡的下一隱藏層或者輸出層的輸入。網絡的每個層根據相應參數集合的當前值來從接收到的輸入生成輸出。

發明內容

本說明書描述了各種技術，涉及訓練神經網絡、計算神經網絡推斷或者兩者的專用硬件電路，并且具體涉及通過增加將權重值加載到矩陣乘法部件內的權重矩陣寄存器中的速率來減少在矩陣乘法部件上的時延的專用硬件電路。

連接脈動陣列以執行矩陣乘法，并且脈動陣列通常在整個陣列中具有統一的結構。脈動陣列的矩陣乘法部件由乘加子部件組成，這些乘加子部件中的每個乘加子部件采取輸入操作數，將操作數乘以存儲的權重以獲得結果，并且將結果添加到部分和以產生新的部分和。

一種用于降低時延的方法是增加將權重加載到乘加部件的速率。

通常，本說明書中所描述的主題的一個創新方面可以體現為訓練神經網絡、計算神經網絡推斷或者兩者的專用硬件電路。

該方面的其它實施例包括記錄在一個或者多個計算機存儲裝置上的對應計算機系統、設備和計算機程序，每個計算機系統、設備和計算機程序配置為執行方法的動作。對于要配置為執行特定操作或者動作的一個或者多個計算機的系統意味著已經在系統上安裝了在操作中使系統執行操作或者動作的軟件、固件、硬件或者它們的組合。對于要配置為執行特定操作或者動作的一個或者多個計算機程序意味著一個或者多個程序包括指令，該指令在由數據處理設備執行時使設備執行操作或者動作。

單獨地或者組合地，前述以及其它實施例可以分別可選地包括以下特征中的一個或者多個。具體地，一個實施例組合地包括所有以下特征。

一種矩陣乘法部件可以實施為單元的脈動陣列。單元陣列中的每個單元可以包括：權重矩陣寄存器，該權重矩陣寄存器配置為從轉置或者非轉置權重移位寄存器接收權重輸入；轉置權重移位寄存器，該轉置權重移位寄存器配置為形成水平方向接收要存儲在權重矩陣寄存器中的權重輸入；非轉置權重移位寄存器，該非轉置權重移位寄存器配置為從垂直方向接收要存儲在權重矩陣寄存器中的權重輸入；以及乘法部件，該乘法部件耦合至權重矩陣寄存器并且配置為將權重矩陣寄存器的權重輸入與矢量數據輸入相乘以獲得乘法結果。每個單元可以包括多路復用器，該多路復用器配置為在轉置權重移位寄存器和非轉置權重移位寄存器的權重輸入之間進行選擇并且將所選擇的權重輸入轉發至權重矩陣寄存器。

矩陣乘法部件可以包括第一權重保持寄存器，該第一權重保持寄存器配置為保持來自轉置權重移位寄存器或者非轉置權重移位寄存器的權重值。

矩陣乘法部件可以包括第二權重保持寄存器，該第二權重保持寄存器配置為保持來自轉置權重移位寄存器或者非轉置權重移位寄存器的權重值。

權重值可以被加載到矩陣乘法部件中，在水平方向上從轉置權重移位寄存器加載到第一權重保持寄存器中，并且在垂直方向上從非轉置權重移位寄存器加載到第二權重保持寄存器中。

可以向權重矩陣寄存器加載來自第一或者第二權重保持寄存器的值。