[發明專利]對神經網絡執行訓練的設備及其集成電路板卡

在審

• 申請號: 201911357772.X
• 申請日: 2019-12-25
• 公開（公告）號: CN111144564A
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/063
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 李波;孫新國

本披露公開了一種對神經網絡執行訓練的設備和集成電路板卡，其中該設備以包括在組合處理裝置中的計算裝置來體現，該組合處理裝置還可以包括通用互聯接口和其他處理裝置。所述計算裝置與其他處理裝置進行交互，共同完成用戶指定的計算操作。組合處理裝置還可以包括存儲裝置，該存儲裝置分別與計算裝置和其他處理裝置連接，用于該計算裝置和其他處理裝置的數據。本披露的方案可以加速對神經網絡的訓練。

技術領域

本披露一般地涉及人工智能領域。更具體地，本披露涉及用于對神經網絡執行訓練的設備及其集成電路板卡。

背景技術

隨著人工智能領域技術的不斷發展，如何高效地訓練神經網絡以獲得良好的神經網絡模型成為當前關注的一個焦點。現有的神經網絡在訓練中通常采用浮點型數據來執行運算以期獲得好的訓練結果。盡管浮點型數據具有相對較高的數據精度，但在訓練過程中會對運行神經網絡的硬件平臺提出更高的硬件要求，例如更大的存儲空間、更高的功耗。另外，在一些訓練場景中，使用精度相對較低的數據類型也同樣可以達到與浮點型數據相同或近似的訓練效果，從而使得應用浮點型數據在一些情況下并不必要。

發明內容

為了解決在上文中所提到的一些或全部的問題，提供一種對神經網絡進行高效訓練的方式，本披露在多個方面中提供了如下的技術方案。

在一個方面中，本披露提供一種對神經網絡執行訓練的設備，其中訓練所述神經網絡包括前向傳播過程和反向傳播過程，所述設備包括：前向處理單元，其配置用于在所述前向傳播過程中，使用定點型的神經網絡數據來對與所述神經網絡的至少一個層相關聯的前向算子執行運算；以及反向處理單元，其配置用于在所述反向傳播過程中，使用所述定點型的神經網絡數據來對與所述前向算子對應的反向算子執行運算以執行更新操作。

在又一個方面中，本披露還提供一種集成電路板卡，包括如上所述的設備。

通過上述用于對神經網絡執行訓練的設備和集成電路板，在訓練神經網絡的迭代訓練中，本披露的方案加速神經網絡的相關運算例如乘加操作，從而加速神經網絡的訓練過程并減小功耗。在一些應用場景中，本披露的方案還支持對執行量化操作后的數據進行復用的功能，從而減小將數據從高精度數據類型的數據量化到定點型數據的多次量化化操作，進一步縮短訓練時間。另外，通過經本披露方案所訓練的神經網絡，其可以被廣泛運用于圖像處理、語音識別、數據采集等各類領域，極大地改善相關領域的效率成本。

附圖說明

通過結合附圖，可以更好地理解本發明的上述特征，并且其眾多目的，特征和優點對于本領域技術人員而言是顯而易見的，其中相同的附圖標記表示相同的元件，并且其中：

圖1是示出可以應用本披露的技術方案的神經網絡的示例性框圖；

圖2是示出根據本披露實施例的神經網絡中相關算子操作的示例性流程圖；

圖3是示出根據本披露實施例的涉及量化誤差原理的曲線圖；

圖4是示出根據本披露實施例的用于對神經網絡執行訓練的設備的框圖；

圖5是示出根據本披露實施例的用于權值復用的示例性系統框圖；

圖6是示出根據本披露實施例的用于通過硬件平臺來訓練神經網絡的方法的流程圖；

圖7是示出根據本披露實施例的用于神經網絡運算的計算裝置的框圖；

圖8是示出根據本披露實施例的一種組合處理裝置的結構圖；以及

圖9是示出根據本披露實施例的一種板卡的結構示意圖。

具體實施方式