[發明專利]用于神經網絡的殘差量化

在審

• 申請號: 201980081880.0
• 申請日: 2019-12-03
• 公開（公告）號: CN113168563A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: E·S·鐘;D·洛;張嘉良;R·趙
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06N3/04
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 馬明月

一種用于在神經網絡中提供量化精度的操作的仿真的方法和裝置被公開。在一些示例中，量化精度的操作以塊浮點格式被執行，在塊浮點格式中張量的值共享共同指數。可以基于各種輸入指標來使用用于選擇較高精度或較低精度的技術。當轉換為量化的張量時，產生殘值張量。在一個實施例中，與從普通精度浮點數到量化的張量的轉換相關聯的誤差值被用于確定在點積計算中是否使用殘差張量。使用殘差張量可以提高來自節點的輸出的精度。對是否使用殘差張量的選擇取決于各種輸入指標，包括誤差值、層編號、指數值、層類型等。

背景技術

機器學習(ML)和人工智能(AI)技術可以對解決許多復雜的計算問題(諸如識別圖像和語音、分析和分類信息、以及執行各種分類任務)有用。機器學習是計算機科學的領域，該領域使用統計技術來給予計算機系統從一組訓練數據提取更高級特征的能力。具體而言，可以通過訓練諸如人工神經網絡(NN)或深度神經網絡(DNN)的模型來提取特征。在模型被訓練之后，新數據可以被應用于模型，并且，使用經訓練的模型，新數據可以被分類(例如，更高級別的特征可以被提取)。機器學習模型通常在通用處理器(也稱為中央處理單元(CPU))上被執行。但是，訓練模型和/或使用模型在計算上可能是昂貴的，并且因此使用通用處理器實時執行特征提取可能是不可能的。因此，有充足的機會改進實現神經網絡的計算機硬件和軟件。

發明內容

提供本發明內容以簡化形式介紹一些概念，這些概念將在下面的詳細描述中進一步描述。本發明內容既不旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于限制所要求保護的主題的范圍。

公開了與使用混合精度數據格式來訓練神經網絡加速器有關的技術。在所公開技術的一個示例中，神經網絡加速器被配置為加速多層神經網絡的給定層。給定層的輸入張量可以從普通精度浮點格式被轉換為量化精度(quantized precision)浮點格式。可以使用經轉換的輸入張量來執行張量操作。張量操作的結果可以從塊浮點格式被轉換為普通精度浮點格式。經轉換的結果可以用于生成神經網絡的層的輸出張量，其中輸出張量使用普通精度浮點格式。

在一個實施例中，公開了一種節點電路，該節點電路可以基于多種輸入指標在節點或層的基礎上來選擇較高精度的模式或者較低精度的模式。當轉換為量化的張量時，產生殘值張量。與從普通精度浮點數轉換為量化的張量相關聯的誤差值被用于確定是否在點積計算中使用殘差張量。使用殘差張量提高從節點輸出的精度。對是否使用殘差張量的選擇取決于各種輸入指標，包括誤差值、層編號、指數值、層類型等。

通過以下參考附圖進行的詳細描述，本發明的前述和其他目的，特征和優勢將變得更加明顯。

附圖說明

圖1示出了如可以在所公開技術的某些示例中被實現的啟用量化的(quantization-enabled)系統的框圖。

圖2示出了描繪如可以使用所公開的某些示例方法和裝置而被建模的深度神經網絡的圖解。

圖3示出了如可以在所公開的技術的某些示例中被執行的將普通浮點格式轉換為量化的浮點格式的某些方面的圖解。

圖4描繪了可以被用于表示量化的神經網絡模型的許多替代塊浮點格式，如可以在所公開的技術的某些示例中所使用的。

圖5描繪了可以被用于表示量化的神經網絡模型的多個備選塊浮點格式，如可以在所公開的技術的某些示例中所使用的。

圖6是描繪訓練神經網絡以供與量化的模型一起使用的方法的流程圖，如可以在所公開的技術的某些示例中所實現的。

圖7是框圖，描繪混合精度浮點環境以及普通精度浮點域與量化的浮點域之間的邊界的框圖，如可以在所公開的技術的某些示例中所實現的。

圖8是描繪使用轉換硬件從普通精度浮點張量到量化的張量和殘差張量的轉換的框圖，其中量化的張量和殘差張量中的一種或兩者可以被用作節點輸出函數的一部分。

圖9示出了圖8的轉換硬件的更多細節。