[發明專利]使用靈活浮點張量的人工神經網絡訓練在審
| 申請號： | 201910360720.1 | 申請日： | 2019-04-30 |
| 公開（公告）號： | CN110580524A | 公開（公告）日： | 2019-12-17 |
| 發明（設計）人： | K·奈爾;A·楊;B·莫里斯 | 申請（專利權）人： | 英特爾公司 |
| 主分類號： | G06N3/063 | 分類號： | G06N3/063;G06N3/08;G06F9/30 |
| 代理公司： | 31100 上海專利商標事務所有限公司 | 代理人： | 何焜;黃嵩泉 |
| 地址： | 美國加利*** | 國省代碼： | 美國;US |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 可變位 共享 處理器電路系統 尾數 個位 浮點 人工神經網絡訓練 訓練神經網絡 指數開關 靈活 申請 | ||
1.一種用于訓練神經網絡的系統，所述系統包括：
處理器電路系統；
通信接口，耦合至所述處理器電路系統，所述通信接口可耦合到神經網絡；以及
存儲設備，耦合至所述處理器電路系統，所述存儲設備包括機器可讀指令，所述指令在由所述處理器電路系統執行時使所述處理器電路系統進行以下操作：
生成神經網絡訓練張量，所述神經網絡訓練張量包括：
多個16位浮點值，所述多個16位浮點值中的每一個包括：
形成對應浮點數的尾數的第一多個位；和
形成所述對應浮點數的指數的第二多個位；以及
由所述訓練張量中所包括的所述16位浮點值中的每一個所共用的五位共享指數。
2.如權利要求1所述的系統，其中，所述神經網絡訓練張量中所包括的所述多個16位浮點值中的每一個都包括：
由所述第一多個位提供的十位尾數；
由所述第二多個位提供的五位指數；以及
一位符號。
3.如權利要求1所述的系統，其中，所述神經網絡訓練張量中所包括的所述多個16位浮點值中的每一個都包括：
由所述第一多個位提供的可變位長尾數；
由所述第二多個位提供的可變位長指數；以及
一位符號；
其中，所述指令進一步使所述處理器電路系統基于一個或多個神經網絡參數來選擇：
用于表示所述可變位長尾數的位的數量；以及
用于表示所述可變位長指數的位的數量。
4.如權利要求3所述的系統，其中，所述一個或多個神經網絡參數包括指示以下各項中的至少一項的趨勢：所述網絡訓練張量中所包括的所述16位浮點值中的一個或多個浮點值中的下溢狀況或上溢狀況。
5.如權利要求1所述的系統，其中，所述神經網絡訓練張量中所包括的所述多個16位浮點值中的每一個都包括：
由所述第一多個位提供的所述尾數；
由所述第二多個位提供的所述指數；
一位符號；以及
用于選擇性地將所述對應16位浮點數的所述指數部分與所述共享指數組合的一位開關。
6.一種訓練神經網絡的方法，所述方法包括：
由處理器電路系統生成神經網絡訓練張量，所述神經網絡訓練張量包括：
多個16位浮點值，所述16位浮點值中的每一個包括：
形成對應浮點數的尾數的第一多個位；和
形成所述對應浮點數的指數的第二多個位；以及
由所述訓練張量中所包括的所述16位浮點值中的每一個所共用的五位共享指數；以及
將所述訓練張量中所包括的所述多個16位浮點值中的至少一個提供為所述神經網絡的輸入。
7.如權利要求6所述的方法，其中，生成所述神經網絡訓練張量包括：
生成包括所述多個16位浮點值和所述五位共享指數的所述神經網絡訓練張量，其中，所述多個16位浮點值中的每一個包括：
由所述第一多個位提供的十位尾數；
由所述第二多個位提供的五位指數；以及
一位符號。
8.如權利要求6所述的方法，其中，生成所述神經網絡訓練張量包括：
生成包括所述多個16位浮點值和所述五位共享指數的所述神經網絡訓練張量，其中，所述多個16位浮點值中的每一個包括：
由所述第一多個位提供的可變位長尾數；
由所述第二多個位提供的可變位長指數；以及
一位符號。
9.如權利要求8所述的方法，進一步包括：
由所述處理器電路系統基于一個或多個神經網絡參數來選擇：
用于表示所述可變位長尾數的位的第一數量；以及
用于表示所述可變位長指數的位的第二數量。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于英特爾公司，未經英特爾公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910360720.1/1.html，轉載請聲明來源鉆瓜專利網。
