[發明專利]具有數據大小和權重大小混合計算能力的神經網絡單元

有效

• 申請號: 201711072106.2
• 申請日: 2017-11-03
• 公開（公告）號: CN107844830B
• 公開（公告）日: 2019-12-13
• 發明（設計）人: 葛蘭·G·亨利
• 申請（專利權）人: 上海兆芯集成電路有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 11228 北京匯澤知識產權代理有限公司
• 代理人: 關宇辰

1.一種神經網絡單元，其特征在于，包括：

第一隨機存取存儲器和第二隨機存取存儲器；以及

具有N個神經處理單元的陣列，配置為同時從所述第一隨機存取存儲器的行接收2N字節以及從所述第二隨機存取存儲器的行接收2N字節，所述陣列的每個神經處理單元接收相應的來自所述第一隨機存取存儲器的2N字節的第一高位字節和第一低位字節，以及接收相應的來自所述第二隨機存取存儲器的2N字節的第二高位字節和第二低位字節；

當在第一模式下，所述陣列的每個神經處理單元對所述第一高位字節進行符號延展以形成第一16位文字，并且對所述第一16位文字以及由所述第二高位字節和第二低位字節形成的第二16位文字進行算術運算；

當在第二模式下，所述陣列的每個神經處理單元對所述第一低位字節進行符號延展以形成第三16位文字，并且對所述第三16位文字以及由所述第二高位字節和第二低位字節形成的第二16位文字進行算術運算；

當在第三模式下，所述陣列的每個神經處理單元對由所述第一高位字節和第一低位字節形成的第四16位文字以及由所述第二高位字節和第二低位字節形成的第二16位文字進行算術運算。

2.根據權利要求1所述的神經網絡單元，其特征在于，所述陣列的每個神經處理單元包括一個保存累加值的累加器；以及

所述算術運算包括生成乘積的乘法運算以及所述乘積與所述累加值的累加運算，所述累加運算生成的和值被寫入所述累加器。

3.根據權利要求2所述的神經網絡單元，其特征在于，所述陣列的每個神經處理單元包括兩個多任務緩存器，所述多任務緩存器從所述第一隨機存取存儲器接收相應的第一高位字節和第一低位字節以形成相應的16位文字；以及

每個所述多任務緩存器被耦接以將所形成的相應的16位文字旋轉至所述陣列的相鄰神經處理單元的兩個多任務緩存器。

4.根據權利要求3所述的神經網絡單元，其特征在于，所述陣列的每個神經處理單元被配置為：

(a)根據第一范例從所述第一隨機存取存儲器的行接收相應的第一高位字節和第一低位字節；

(b)從所述第二隨機存取存儲器的行接收相應的第二高位字節和第二低位字節以形成16位文字；

(c)按照所述第一模式進行乘法運算和累加運算；

(d)將所形成的相應的16位文字旋轉至所述陣列的相鄰神經處理單元；

(e)從所述第二隨機存取存儲器的接續的行接收相應的第二高位字節和第二低位字節以形成16位文字；

(f)按照所述第一模式進行乘法運算和累加運算；

(g)為M個接續的范例中的每一個重復(d)、(e)和(f)，其中，M大于2；

(h)根據第二范例從所述第一隨機存取存儲器的行接收相應的第一高位字節和第一低位字節；

(i)從所述第二隨機存取存儲器的接續的行接收相應的第二高位字節和第二低位字節以形成16位文字；

(j)按照所述第二模式進行乘法運算和累加運算；

(k)將所形成的相應的16位文字旋轉至所述陣列的相鄰神經處理單元；

(l)從所述第二隨機存取存儲器的接續的行接收相應的第二高位字節和第二低位字節以形成16位文字；

(m)按照所述第二模式進行乘法運算和累加運算；

(n)為M個接續的范例中的每一個重復(k)、(l)和(m)。

5.根據權利要求1所述的神經網絡單元，其特征在于，當在第一模式、第二模式和第三模式下，所述陣列的每個神經處理單元產生所進行的算術運算的相應的16位結果。

6.根據權利要求5所述的神經網絡單元，其特征在于，所述神經網絡單元還被配置為將N個相應的16位結果寫入所述第一隨機存取存儲器或第二隨機存取存儲器的行。

7.根據權利要求6所述的神經網絡單元，其特征在于，所述神經網絡單元還被配置為對所述N個相應的16位結果中的每一個執行啟動函數，以產生用于寫入所述第一隨機存取存儲器或第二隨機存取存儲器的行的N個相應的第二結果。