[發明專利]神經網絡運算模塊及方法

在審

• 申請號: 201910235038.X
• 申請日: 2019-03-26
• 公開（公告）號: CN111753970A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種神經網絡運算模塊，其特征在于，所述神經網絡運算模塊用于執行多層神經網絡的運算，所述神經網絡模塊包括：

存儲單元，用于存儲所述多層神經網絡的權重精度和輸出神經元梯度精度；

控制器單元，用于從所述存儲單元獲取所述多層神經網絡相鄰兩層輸出神經元梯度精度和權重精度S_w；根據所述相鄰兩層輸出神經元梯度精度和權重精度S_w確定目標誤差傳遞精度預估值Aⁿ；當所述目標誤差傳輸精度預估值Aⁿ大于所述預設精度A_r時，增大所述相鄰兩層輸出神經元梯度精度和所述權重精度S_w；

運算單元，用于根據增大后的相鄰兩層輸出神經元梯度精度來表示所述相鄰兩層輸出神經元梯度，用于增大后的權重精度S_w來表示所述多層神經網絡的權重，并進行后續運算。

2.根據權利要求1所述的模塊，其特征在于，所述相鄰兩層輸出神經元梯度精度包括第L-1層輸出神經元梯度精度和第L層輸出神經元梯度精度在根據所述相鄰兩層輸出神經元梯度精度和權重精度確定目標誤差傳遞精度預估值的方面，所述控制器單元具體用于：

若所述第L-1層輸出神經元梯度精度包括多個輸出神經元梯度精度，則根據第L-1層多個輸出神經元梯度精度、所述權重精度S_w和所述第L層輸出神經元梯度精度獲取多個誤差傳遞精度預估值；若所述第L層輸出神經元梯度精度包括多個輸出神經元梯度精度，則根據第L層的多個輸出神經元梯度精度、所述權重精度S_w和所述第L層輸出神經元梯度精度獲取多個誤差傳遞精度預估值；其中，L為大于1的整數；

根據預設策略從所述多個誤差傳遞精度預估值選擇出所述目標誤差傳遞精度預估值Aⁿ。

3.根據權利要求2所述的模塊，其特征在于，所述控制器單元根據所述第L-1層中多個輸出神經元梯度精度、所述權重精度S_w和所述第L層輸出神經元梯度精度獲取多個誤差傳遞精度預估值，包括：

所述控制器單元根據第一預設公式對所述第L-1層中多個輸出神經元梯度精度、所述權重精度S_w和所述第L層輸出神經元梯度精度進行計算，以得到所述多個誤差傳遞精度預估值；

其中，所述第一預設公式為：所述Aⁱ為所述多個誤差傳遞精度預估值中的第i個，所述為所述第L-1層中多個輸出神經元中的第i個。

4.根據權利要求2所述的模塊，其特征在于，所述控制器單元根據所述第L-1輸出神經元梯度精度所述權重精度S_w和所述第L層中的多個輸出神經元梯度精度，獲取多個誤差傳遞精度預估值，包括：

所述控制器單元根據第二預設公式對所述第L-1層輸出神經元梯度精度所述權重精度S_w和所述第L層中的多個輸出神經元梯度精度進行計算，以得到所述多個誤差傳遞精度預估值；

其中，所述第二預設公式為：所述A_i為所述多個誤差傳遞精度預估值中的第i個，所述為所述第L層中多個輸出神經元中的第i個。

5.根據權利要求2-4任一項所述的模塊，其特征在于，所述控制器單元根據預設策略從所述多個誤差傳遞精度預估值選擇出目標誤差傳遞精度預估值Aⁿ，包括：

從所述多個誤差傳遞精度預估值中任選一個作為所述目標誤差傳遞精度預估值Aⁿ，或者；

從所述多個誤差傳遞精度預估值中選取最大值作為所述目標誤差傳遞精度預估值Aⁿ，或者；

從所述多個誤差傳遞精度預估值中選取最小值作為所述目標誤差傳遞精度預估值Aⁿ，或者；

對所述多個誤差傳遞精度預估值進行求均值計算，以得到計算結果，所述計算結果為所述目標誤差傳遞精度預估值Aⁿ，或者；

根據預設權重對所述多個誤差傳遞精度預估值進行加權后均值計算，以得到加權均值結果，所述加權均值結果為所述目標誤差傳遞精度預估值Aⁿ。