[發明專利]使用靈活浮點張量的人工神經網絡訓練

在審

• 申請號: 201910360720.1
• 申請日: 2019-04-30
• 公開（公告）號: CN110580524A
• 公開（公告）日: 2019-12-17
• 發明（設計）人: K·奈爾;A·楊;B·莫里斯
• 申請（專利權）人: 英特爾公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06F9/30
• 代理公司: 31100 上海專利商標事務所有限公司
• 代理人: 何焜;黃嵩泉

本申請公開了使用靈活浮點張量的人工神經網絡訓練。因此，本公開涉及用于使用張量來訓練神經網絡的系統和方法，所述張量包括多個FP16值和定義由所述張量中所包括的所述FP16值中的一些或全部共享的指數的多個位。所述FP16值可以包括IEEE 754格式的16位浮點值，并且所述張量可以包括定義所述共享指數的多個位。所述張量可以包括共享指數和FP16值，所述FP16值包括可以由處理器電路系統動態地設置的可變位長尾數和可變位長指數。所述張量可以包括共享指數以及FP16值，所述FP16值包括：可以由處理器電路系統動態地設置的可變位長尾數、可變位長指數，以及由所述處理器電路系統設置以選擇性地將所述FP16值的指數與所述共享指數進行組合的共享指數開關。

技術領域

本公開涉及對神經網絡的訓練。

背景技術

在最簡單的形式中，神經網絡包括：具有多個輸入的輸入層、包含一個或多個輸出的輸出層、以及耦合至輸入層和輸出層的包含多個神經元的至少一個隱藏層。隱藏層中所包括的神經元中的每一個可以具有任何數量的輸入和任何數量的輸出。對神經元輸入和/或神經元輸出中的每一個進行加權以影響神經網絡的決策能力。通常最初分配這些權重，并且然后基于在神經網絡的訓練時段期間提供的訓練數據集中所包含的信息來更新這些權重。

在監督式訓練中，向神經網絡提供輸入數據(即，輸入層處的數據)和輸出數據(即，輸出層處的數據)兩者。網絡對輸入數據進行處理并且將結果與輸出數據進行比較。可以通過網絡反向傳播誤差以調整控制網絡的權重，從而提高網絡準確性和/或速度。訓練過程在多個時期中發生。每個時期包括數據的一次向前傳播通過神經網絡和數據的一次向后傳播通過神經網絡。訓練可能需要多個時期以生成處于可接受的閾值內的可靠且可預測的輸出。

與任務特定的算法相比，深度學習(也稱為深度結構學習或分層學習)是基于學習數據表示的更廣泛的機器學習方法系列的一部分。深度學習模型與如神經編碼等生物神經系統中的信息處理和通信模式松散地相關，所述神經編碼嘗試定義各種刺激與大腦中相關聯的神經響應之間的關系。深度學習是計算密集型的，因而需要大量的處理能力和資源。

IEEE數字格式包括16位浮點[FP16]和32位浮點[FP32]。針對FP16的IEEE754標準包括單符號位、10位分數和5位指數。針對FP32的IEEE 754標準包括單符號位、23位分數和8位指數。在神經網絡訓練中使用FP32顯著增加了系統的計算負荷，特別是在與FP16進行比較時。然而，在FP16中，深度神經網絡訓練中的梯度可能變得過淺(即，下降到2^-24以下)并且變為“0”。因此，盡管計算開銷和時間成本很高，但是很多深度學習都以FP32進行。

附圖說明

隨著以下詳細描述繼續，并且當參照附圖時，所要求保護的主題的各種實施例的特征和優點將變得顯而易見，其中，相同的數字指代相同的部件，并且在附圖中：

圖1提供了根據本文所描述的至少一個實施例的說明性系統的高級框圖，所述說明性系統包括神經網絡、用于向神經網絡提供訓練張量的處理器電路系統、以及用于存儲由處理器電路系統執行的指令的存儲設備；

圖2是根據本文所描述的至少一個實施例的包括共享共用的6位指數(5:0)的多個16位浮點數的說明性張量，并且其中，張量中的16位浮點數中的每個浮點數包括單符號位(15:15)、8位指數(14:7)和7位尾數(6:0)；

圖3是根據本文所描述的至少一個實施例的包括共享共用的6位指數(5:0)的多個16位浮點數的另一個說明性張量，并且其中，張量中的16位浮點數中的每個浮點數包括單符號位(15:15)、單指數開/關開關位(14:14)、8位指數(13:6)和6位尾數(5:0)；

圖4是根據本文所描述的至少一個實施例的說明性的電子的基于處理器的設備的示意圖，所述基于處理器的設備包括處理器電路系統，所述處理器電路系統用于使用如圖1、圖2和圖3中所描述的包括多個16位浮點值的訓練張量來訓練耦合至基于處理器的設備的神經網絡；