[發明專利]對神經網絡執行訓練的設備及其集成電路板卡在審
| 申請號： | 201911357772.X | 申請日： | 2019-12-25 |
| 公開（公告）號： | CN111144564A | 公開（公告）日： | 2020-05-12 |
| 發明（設計）人： | 不公告發明人 | 申請（專利權）人： | 上海寒武紀信息科技有限公司 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08;G06N3/063 |
| 代理公司： | 北京維昊知識產權代理事務所(普通合伙) 11804 | 代理人： | 李波;孫新國 |
| 地址： | 201306 上海*** | 國省代碼： | 上海;31 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 神經網絡 執行 訓練 設備 及其 集成電路 板卡 | ||
1.一種對神經網絡執行訓練的設備，其中訓練所述神經網絡包括前向傳播過程和反向傳播過程，所述設備包括：
前向處理單元，其配置用于在所述前向傳播過程中，使用定點型的神經網絡數據來對與所述神經網絡的至少一個層相關聯的前向算子執行運算；以及
反向處理單元，其配置用于在所述反向傳播過程中，使用所述定點型的神經網絡數據來對與所述前向算子對應的反向算子執行運算以執行更新操作。
2.根據權利要求1所述的設備，進一步包括：
量化單元，其配置用于利用量化算子對高精度數據類型的神經網絡數據執行量化操作，以獲得所述定點型的神經網絡數據。
3.根據權利要求2所述的設備，其中所述量化算子包括量化策略算子和量化參數算子，其中所述量化策略算子至少用于確定是否執行量化參數的更新操作，而所述量化參數算子至少用于確定量化參數，并使用所述量化參數對所述高精度數據類型的神經網絡數據執行所述量化操作。
4.根據權利要求1所述的設備，其中所述高精度數據類型是浮點型數據類型。
5.根據權利要求1-4的任意一項所述的設備，其中所述神經網絡數據包括神經元和權值中的至少一種數據。
6.根據權利要求5所述的設備，其中所述神經網絡的至少一個層是卷積層或全連接層。
7.根據權利要求6所述的設備，其中所述量化參數包括用于對神經元數據執行量化操作的神經元量化參數和用于對權值數據執行量化操作的權值量化參數，所述前向處理單元還配置用于在所述前向傳播過程中執行：
根據所述神經元量化參數，使用所述量化參數算子將所述高精度數據類型的神經元數據量化成定點型的神經元數據；以及
根據所述權值量化參數，使用所述量化參數算子將所述高精度數據類型的權值數據量化成定點型的權值數據。
8.根據權利要求7所述的設備，其中在對前向算子執行運算中，所述前向處理單元配置用于：
使用所述神經元量化參數、權值量化參數、所述定點型的神經元數據和權值數據來執行前向算子的運算，以獲得高精度數據類型的前向運算結果。
9.根據權利要求8所述的設備，其中所述前向處理單元還配置用于：
根據所述高精度數據類型的前向運算結果來獲得高精度數據類型的輸入梯度數據，以用于所述反向傳播過程。
10.根據權利要求9所述的設備，其中所述量化參數還包括用于對所述輸入梯度數據執行量化的梯度量化參數，所述量化單元還配置用于：
根據所述梯度量化參數，使用所述量化參數算子將高精度數據類型的輸入梯度數據轉換成所述定點型的輸入梯度數據。
11.根據權利要求9所述的設備，其中所述更新操作包括權值更新操作，所述反向處理單元還配置用于：
使用所述梯度量化參數、所述神經元量化參數、所述定點型的神經元數據和所述定點型的輸入梯度數據來獲得高精度數據類型的權值梯度數據；
使用所述高精度數據類型的權值梯度數據來執行所述權值更新操作，以獲得更新后的高精度數據類型的權值數據。
12.根據權利要求11所述的設備，其中所述更新操作包括梯度更新操作，所述反向處理單元還配置用于：
使用所述梯度量化參數、所述權值量化參數、所述定點型的權值數據和所述定點型的輸入梯度數據來獲得更新后的高精度數據類型的輸入梯度數據，以用于所述反向傳播過程中的下一層的所述權值更新操作。
13.一種集成電路板卡，包括根據權利要求1-12的任意一項所述的設備。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于上海寒武紀信息科技有限公司，未經上海寒武紀信息科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201911357772.X/1.html，轉載請聲明來源鉆瓜專利網。
