[發明專利]直接使用反向傳播學習可編程設備塊的神經網絡

在審

• 申請號: 202080045271.2
• 申請日: 2020-04-17
• 公開（公告）號: CN114008634A
• 公開（公告）日: 2022-02-01
• 發明（設計）人: Y·尤姆羅吉魯;N·弗雷澤;M·布羅特;K·德諾爾夫;K·維塞爾斯
• 申請（專利權）人: 賽靈思公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 傅遠

1.一種訓練神經網絡的方法，包括：

定義硬件構建塊(HBB)、神經元等同物(NEQ)以及從NEQ到HBB的轉換過程；

在機器學習框架中使用所述NEQ定義所述神經網絡；

在訓練平臺上訓練所述神經網絡；以及

使用所述轉換過程來將訓練好的所述神經網絡轉換為HBB的網表以將所述神經網絡中的所述NEQ轉換為所述網表的所述HBB。

2.根據權利要求1所述的方法，還包括：

對所述網表進行后處理以執行所述網表的一個或多個優化。

3.根據權利要求1所述的方法，還包括：

生成用于對可編程設備進行編程的所述網表的實現方式。

4.根據權利要求1所述的方法，其中定義所述HBB、所述NEQ和所述轉換過程的步驟包括：

標識可編程設備的可編程結構中的原語以實現所述HBB；

對于每個HBB，在所述機器學習框架中定義所述NEQ中的一個或多個NEQ；以及

對于每個NEQ，標識到對應HBB的轉換過程。

5.根據權利要求1所述的方法，其中每個NEQ包括：量化輸入和量化輸出，其中所述量化輸入的寬度之和小于或等于實現相應NEQ所轉換為的HBB的存儲器部件的地址位的數目，并且其中所述量化輸出的寬度之和小于或等于所述存儲器部件的寬度。

6.一種非暫態計算機可讀介質，其上存儲有指令，當由處理器執行時，所述指令使得所述處理器執行訓練神經網絡的方法，所述方法包括：

定義硬件構建塊(HBB)、神經元等同物(NEQ)以及從NEQ到HBB的轉換過程；

在機器學習框架中使用所述NEQ定義所述神經網絡；

在訓練平臺上訓練所述神經網絡；以及

使用所述轉換過程將訓練好的所述神經網絡轉換為HBB的網表以將所述神經網絡中的所述NEQ轉換為所述網表的所述HBB。

7.根據權利要求6所述的非暫態計算機可讀介質，還包括：

對所述網表進行后處理以執行所述網表的一個或多個優化。

8.根據權利要求6所述的非暫態計算機可讀介質，還包括：

生成用于對可編程設備進行編程的所述網表的實現方式。

9.根據權利要求6所述的非暫態計算機可讀介質，其中定義所述HBB、所述NEQ和所述轉換過程的步驟包括：

標識可編程設備的可編程結構中的原語以實現所述HBB；

對于每個HBB，在所述機器學習框架中定義所述NEQ中的一個或多個NEQ；以及

對于每個NEQ，標識到對應HBB的轉換過程。

10.根據權利要求6所述的非暫態計算機可讀介質，其中每個NEQ包括點積運算和非線性運算，并且其中每個NEQ包括量化輸入和量化輸出，其中所述量化輸入的寬度之和小于或等于實現相應NEQ所轉換為的HBB的存儲器部件的地址位的數目，并且其中所述量化輸出的寬度之和小于或等于所述存儲器部件的寬度。

11.一種計算系統，包括：

系統存儲器，被配置為存儲實現設計工具的代碼；

訓練平臺；以及

處理器，耦合到所述系統存儲器和所述訓練平臺，所述處理器被配置為執行所述代碼以通過以下方式執行對神經網絡的訓練：

定義硬件構建塊(HBB)、神經元等同物(NEQ)以及從NEQ到HBB的轉換過程；

在機器學習框架中使用所述NEQ定義所述神經網絡；

在所述訓練平臺上訓練所述神經網絡；以及

使用所述轉換過程將訓練好的所述神經網絡轉換為HBB的網表以將所述神經網絡中的所述NEQ轉換為所述網表的所述HBB。

12.根據權利要求11所述的計算系統，其中對所述神經網絡的所述訓練還包括：

對所述網表進行后處理以執行所述網表的一個或多個優化。