[發明專利]用于神經網絡實現的塊浮點

有效

• 申請號: 201780076041.0
• 申請日: 2017-12-01
• 公開（公告）號: CN110050256B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: R·比特納;A·福林
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F7/483
• 分類號: G06F7/483;G06F7/544;G06F7/52
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 王英

1.一種方法，包括：

配置電路以執行塊浮點運算，所述電路包括神經網絡處理器或硬件組件，所述運算包括：

產生多個矩陣或向量的塊浮點BFP表示，其中，相應的所述矩陣或向量的至少兩個但不是所有元素在所述BFP表示中共用共同指數；

在所述多個矩陣或向量中的兩個或更多個矩陣或向量的所述BFP表示上執行數學運算，其產生輸出矩陣或向量；

基于所述輸出矩陣或向量以及所述共同指數，選擇用于所述輸出矩陣或向量的至少兩個或更多個但不是所有元素的經更新的共同指數；以及

產生經更新的矩陣或向量的BFP表示，經更新的所述矩陣或向量的至少兩個但不是所有元素共用所選擇的所述經更新的共同指數。

2.根據權利要求1所述的方法，其中所述多個矩陣或向量中的每個矩陣或向量包括無符號的或有符號的尾數的陣列。

3.根據權利要求1所述的方法，其中執行所述數學運算包括：

在針對所述多個矩陣或向量中的第一矩陣或向量的一個或多個尾數和/或指數上執行運算與在針對所述多個矩陣或向量中的第二矩陣或向量的一個或多個尾數和/或指數上執行運算相結合。

4.根據權利要求1所述的方法，其中執行所述數學運算包括：

針對被存儲在所述多個矩陣或向量中的第一矩陣或向量中的尾數與被存儲在所述多個矩陣或向量中的第二矩陣或向量中的尾數執行脈動陣列矩陣乘法。

5.根據權利要求1所述的方法，其中執行所述數學運算包括：

將偏置向量與所述多個矩陣或向量的乘積相加。

6.根據權利要求1所述的方法，其中執行所述數學運算包括：

對所述多個矩陣或向量的乘積執行附加函數。

7.根據權利要求1所述的方法，其中在所述多個矩陣或向量中的所述兩個或更多個矩陣或向量上執行所述數學運算包括：

執行矩陣乘法，并且將針對所述多個矩陣或向量中的第一矩陣或向量的第一共同指數與針對所述多個矩陣或向量中的第二矩陣或向量的第二共同指數相加；

執行矩陣除法，并且從針對所述多個矩陣或向量中的第二矩陣或向量的第二共同指數中減去針對所述多個矩陣或向量中的第一矩陣或向量的第一共同指數；或

執行矩陣加法或減法，并且將所述多個矩陣或向量中的至少一個矩陣或向量的尾數移位。

8.根據權利要求1所述的方法，其中選擇經更新的所述共同指數包括：計算針對所述輸出矩陣或向量所計算的部分但不是所有輸出元素值的平均值、標準偏差和/或方差。

9.根據權利要求1所述的方法，還包括：利用由執行所述數學運算所產生的元素值來更新用于神經網絡的節點值。

10.根據權利要求1所述的方法，至少還包括以下中的一項或多項：

使用用于矩陣乘法的平均值，執行所述數學運算；

使用用于共同指數更新的平均值，執行所述選擇經更新的所述共同指數；或

使用用于產生矩陣或向量的BFP表示的平均值，執行所述產生經更新的所述矩陣或向量的所述BFP表示。

11.根據權利要求1所述的方法，其中：

所述數學運算包括乘法；并且

執行所述數學運算在不將所述多個矩陣或向量中的兩個或更多個矩陣或向量的尾數移位的情況下而被執行。

12.根據權利要求1所述的方法，其中選擇經更新的所述共同指數包括：

將針對所述多個矩陣或向量中的第一矩陣或向量的第一共同指數與針對所述多個矩陣或向量中的第二矩陣或向量的第二共同指數相加。