[發明專利]直接使用反向傳播學習可編程設備塊的神經網絡

在審

• 申請號: 202080045271.2
• 申請日: 2020-04-17
• 公開（公告）號: CN114008634A
• 公開（公告）日: 2022-02-01
• 發明（設計）人: Y·尤姆羅吉魯;N·弗雷澤;M·布羅特;K·德諾爾夫;K·維塞爾斯
• 申請（專利權）人: 賽靈思公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 傅遠

一種訓練神經網絡的示例方法包括：定義硬件構建塊(HBB)、神經元等同物(NEQ)以及從NEQ到HBB的轉換過程；在機器學習框架中使用NEQ定義神經網絡；在訓練平臺上訓練神經網絡；以及使用轉換過程來將訓練好的神經網絡轉換為HBB的網表以將神經網絡中的NEQ轉換為網表的HBB。

技術領域

本公開的各示例一般涉及神經網絡，并且具體涉及直接使用反向傳播學習可編程設備塊的神經網絡。

背景技術

隨著深度神經網絡(DNN)的規模不斷增長以提高其預測能力，它們的存儲器和計算足跡也在按比例增加，從而使得它們越來越難以部署在能源和資源受限的硬件環境中。使用浮點算法的DNN包含大量冗余，從而可以用于降低計算和存儲器成本。這些技術包括量化、修剪和低秩分解。在所提出的量化技術中，經過訓練的量化方法(其中在訓練過程期間對DNN進行量化)在減少工作量的同時以量化神經網絡(QNN)形式維持準確性方面取得了一些最有希望的結果。量化的最極端形式是二進制神經網絡(BNN)，其中權重和激活被約束為二進制值，從而在保留高準確性的同時顯著降低計算和存儲器成本。

以前，為諸如現場可編程門陣列(FPGA)之類的可編程設備創建DNN加速器的策略是通過將所學習的參數放在存儲器中并且調度操作來將人工神經元映射到固定硬件架構，以使正確計算發生在對應權重與激活之間。反過來，固定硬件架構使用查找表(LUT)、數字信號處理器(DSP)和其他可編程設備資源來實現。從整體上看問題，固定架構充當了結構能力與DNN執行的計算之間的接口。然而，該接口也充當優化的障礙，該障礙可以使得DNN能夠充分利用可編程設備結構。更進一步地，固定架構需要非平凡的優化編譯器，該優化編譯器將DNN計算映射并調度到硬件上，這可能導致性能進一步下降。

發明內容

描述了用于直接使用反向傳播學習可編程設備塊的神經網絡的技術。在一個示例中，一種訓練神經網絡的方法包括：定義硬件構建塊(HBB)、神經元等同物(NEQ)以及從NEQ到HBB的轉換過程；在機器學習框架中使用NEQ定義神經網絡；在訓練平臺上訓練神經網絡；以及使用轉換過程將訓練好的神經網絡轉換為HBB的網表以將神經網絡中的NEQ轉換為網表的HBB。

在另一示例中，一種非暫態計算機可讀介質，其上存儲有指令，當被處理器執行時，這些指令使得處理器執行訓練神經網絡的方法，包括：定義硬件構建塊(HBB)、神經元等同物(NEQ)、從NEQ到HBB的轉換過程；在機器學習框架中使用NEQ定義神經網絡；在訓練平臺上訓練神經網絡；以及使用轉換過程將訓練好的神經網絡轉換為HBB的網表以將神經網絡中的NEQ轉換為網表的HBB。

在另一示例中，一種計算系統包括系統存儲器，該系統存儲器被配置為存儲實現設計工具的代碼；訓練平臺；以及處理器，該處理器耦合到系統存儲器和訓練平臺，該處理器被配置為執行代碼以通過以下方式執行對神經網絡的訓練：定義硬件構建塊(HBB)、神經元等同物(NEQ)以及從NEQ到HBB的轉換過程；在機器學習框架中使用NEQ定義神經網絡；在訓練平臺上訓練神經網絡；以及使用轉換過程將訓練好的神經網絡轉換為HBB的網表以將神經網絡中的NEQ轉換為網表的HBB。

可以參考以下具體實施方式來理解這些和其他方面。

附圖說明

為了能夠詳細理解上文所闡述的特征的方式，可以通過參考示例實現方式來進行上文所簡要概括的更具體的描述，其中一些示例實現方式在附圖中示出。然而，應當指出，附圖僅圖示了典型的示例實現方式，因此不應被認為是對其范圍的限制。

圖1A是描繪了根據示例的硬件加速系統的框圖。

圖1B是描繪了根據示例的經加速的應用的框圖。

圖2是描繪了根據示例的計算系統(“計算機”)的框圖。

圖3是描繪了根據示例的訓練神經網絡的方法的流程圖。

圖4是描繪了根據示例執行圖3所示方法的一部分的方法的流程圖。