[發明專利]用于神經網絡的殘差量化

在審

• 申請號: 201980081880.0
• 申請日: 2019-12-03
• 公開（公告）號: CN113168563A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: E·S·鐘;D·洛;張嘉良;R·趙
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06N3/04
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 馬明月

1.一種方法，包括：

在執行在硬件上的神經網絡中：

將輸入向量從浮點數轉換為共同指數和尾數值；

將所述尾數值分解為量化的值和殘差值；

針對每個量化的值和殘差值：

使用所述量化的值和權重來執行點積，以提供第一輸出；

取決于所需要的期望精度水平，選擇性地選擇是否對所述殘差值執行點積；

如果較低的精度水平被需要，則使用所述第一輸出作為節點輸出；

如果較高的精度水平被需要，則使用所述殘差值和權重來執行點積，以獲得第二輸出；

將所述第一輸出與所述第二輸出組合，以生成所述節點輸出。

2.根據權利要求1所述的方法，其中所述選擇性地選擇基于量化的誤差值，所述量化的誤差值從將所述輸入向量中的每個輸入向量從其相應的浮點數轉換為所述共同指數和所述尾數值而被計算。

3.根據權利要求2所述的方法，還包括：基于所述量化的誤差值是否超過閾值，對所述殘差值執行所述點積。

4.根據權利要求3所述的方法，其中所述閾值基于所述共同指數的值而改變。

5.根據前述權利要求1-4中的任一項所述的方法，其中所述神經網絡包括節點的多個層，所述方法在每個節點上被執行，并且所述選擇性地選擇是基于所述節點駐留在所述多個層中的哪個層。

6.根據前述權利要求1-5中的任一項所述的方法，其中所述神經網絡包括節點的多個層，并且所述選擇性地選擇基于層類型。

7.根據前述權利要求1-6中的任一項所述的方法，其中所述第一輸出使用被設計為執行向量乘法的硬件而被計算，并且所述第二輸出使用相同的所述硬件在所述第一輸出之后順序地被生成，以便使用較低精度的硬件來生成較高精度的節點輸出。

8.根據前述權利要求1-7中的任一項所述的方法，其中所述選擇性地選擇由用戶通過所述神經網絡的應用編程接口(API)來控制。

9.根據前述權利要求1-8中的任一項所述的方法，其中所述選擇性地選擇基于所述共同指數的絕對值。

10.一種神經網絡，包括：

被設計為對第一大小的張量執行點積的硬件，所述第一大小的張量是第二大小的普通精度浮點數的一部分；

用于轉換所述普通精度浮點數以便將所述普通精度浮點數減少為所述第一大小的量化的張量和所述第一大小的殘差張量的硬件；以及

用于基于期望精度水平來選擇性地確定是僅對所述量化的張量、還是對所述量化的張量和所述殘差張量執行所述點積的硬件。

11.根據權利要求10所述的神經網絡，其中用于轉換的所述硬件生成與所述轉換相關聯的量化的誤差值，其中用于選擇性地確定的所述硬件將所述量化的誤差值與閾值進行比較以確定是否對所述殘差張量執行所述點積。

12.根據權利要求11所述的神經網絡，其中所述量化的誤差值基于與所述量化的張量相關聯的指數的值而改變。

13.根據前述權利要求10-12中的任一項所述的神經網絡，其中所述神經網絡包括多個層，其中每個層包括多個節點，每個節點包括被設計為執行所述點積的所述硬件。

14.根據權利要求13所述的神經網絡，其中用于選擇性地確定的所述硬件使用與所述多個層相關聯的層類型來確定是否對所述殘差張量執行所述點積。

15.根據前述權利要求10-14中的任一項所述的神經網絡，還包括用于將所述量化的張量和所述殘差張量相加以產生節點輸出的硬件。