[發明專利]神經網絡計算方法、裝置和存儲介質

有效

• 申請號: 202010776845.5
• 申請日: 2020-08-05
• 公開（公告）號: CN112100118B
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 鄢貴海;盧文巖
• 申請（專利權）人: 中科馭數（北京）科技有限公司
• 主分類號: G06F15/78
• 分類號: G06F15/78;G06N3/063;G06N3/04
• 代理公司: 北京金咨知識產權代理有限公司 11612
• 代理人: 宋教花

1.一種神經網絡計算方法，其特征在于，該方法包括以下步驟：

用片上緩存模塊對片外輸入數據、神經網絡計算參數數據以及神經網絡計算中的中間計算結果數據進行緩存；

基于預定的神經網絡計算模式將緩存的片外輸入數據或中間計算結果數據進行數據流重新定向操作以根據負載特性調整數據映射方式，并輸入到計算模塊中；

基于預定的神經網絡計算模式將緩存的神經網絡計算參數數據進行數據流重新定向操作以根據負載特性調整數據映射方式，并輸入到所述計算模塊中，所述計算模塊包括多個基本處理單元，每個基本處理單元包括：基本運算器和控制器，所述控制器用于按照預定的運算模式控制基本運算器的運算操作；各基本處理單元按照最簡元方式以二維方式連接，不同行的基本處理單元按照從預先設置的多種計算模式中選擇的一種預定計算模式對應的連接方式連接；

由所述計算模塊基于重新定向操作后的片外輸入數據或中間計算結果數據以及經重新定向操作后的神經網絡計算參數數據按照預定的運算模式進行神經網絡計算，并將中間計算結果緩存到所述片上緩存模塊中。

2.根據權利要求1所述的方法，其特征在于，每個基本處理單元還包括：局部寄存器，用于局部存儲操作數據和/或結果數據；

每個基本處理單元的基本運算器包括以下基本運算器中的至少一種：乘法器、加法器和非線性操作器；

每個基本處理單元的控制器用于按照預定的運算模式控制所述局部寄存器中數據的存取以及所述基本運算器的運算操作。

3.根據權利要求1所述的方法，其特征在于，所述片上緩存模塊包括：第一片上緩存模塊、第二片上緩存模塊和第三片上緩存模塊；

所述第一片上緩存模塊用于對片外輸入數據進行緩存；

所述第二片上緩存模塊用于對神經網絡計算參數數據進行緩存；

所述第三片上緩存模塊用于對神經網絡計算中的中間計算結果數據進行緩存。

4.根據權利要求3所述的方法，其特征在于：

所述第一片上緩存模塊和所述第三片上緩存模塊按照乒乓緩存方式工作；

所述數據流重新定向操作包括以下操作中的至少一種：數據交叉、數據廣播復制以及數據交換。

5.根據權利要求3所述的方法，其特征在于，所述將中間計算結果緩存到所述片上緩存模塊中的步驟包括：

將中間計算結果進行重定向操作并緩存到所述第三片上緩存模塊中。

6.一種神經網絡計算裝置，該裝置包括：

片上緩存模塊，其用于對片外輸入數據、神經網絡計算參數數據以及神經網絡計算中的中間計算結果數據進行緩存；

第一重定向模塊，其基于預定的神經網絡計算模式將緩存的片外輸入數據或中間計算結果數據進行數據流重新定向操作以根據負載特性調整數據映射方式，并輸入到計算模塊中；

第二重定向模塊，其基于預定的神經網絡計算模式將緩存的神經網絡計算參數數據進行數據流重新定向操作以根據負載特性調整數據映射方式，并輸入到所述計算模塊中；

所述計算模塊，其基于重新定向操作后的片外輸入數據或中間計算結果數據以及經重新定向操作后的神經網絡計算參數數據按照預定的運算模式進行神經網絡計算，并將中間計算結果緩存到所述片上緩存模塊中，所述計算模塊包括多個基本處理單元，每個基本處理單元包括：基本運算器和控制器，所述控制器用于按照預定的運算模式控制基本運算器的運算操作；各基本處理單元按照最簡元方式以二維方式連接，不同行的基本處理單元按照從預先設置的多種計算模式中選擇的一種預定計算模式對應的連接方式連接。

7.根據權利要求6所述的裝置，其特征在于：

每個基本處理單元還包括：局部寄存器，用于局部存儲操作數據和/或結果數據；

每個基本處理單元的基本運算器包括以下基本運算器中的至少一種：乘法器、加法器和非線性操作器；以及

每個基本處理單元的控制器用于按照預定的運算模式控制所述局部寄存器中數據的存取以及所述基本運算器的運算操作。