[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)運算模塊及方法

在審

• 申請?zhí)枺?/td>: 201811040961.X
• 申請日: 2018-09-06
• 公開（公告）號: CN110880037A
• 公開（公告）日: 2020-03-13
• 發(fā)明（設(shè)計）人: 不公告發(fā)明人
• 申請（專利權(quán)）人: 上海寒武紀(jì)信息科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種神經(jīng)網(wǎng)絡(luò)運算模塊，其特征在于，所述神經(jīng)網(wǎng)絡(luò)運算模塊用于進行多層神經(jīng)網(wǎng)絡(luò)的運算，包括：

存儲單元，用于存儲輸入神經(jīng)元精度、權(quán)重精度和輸出神經(jīng)元梯度精度；

控制器單元，用于從所述存儲單元獲取所述多層神經(jīng)網(wǎng)絡(luò)第L層的輸入神經(jīng)元精度S_x(l)、權(quán)重精度S_w(l)和輸出神經(jīng)元梯度精度其中，所述L為大于0的整數(shù)；根據(jù)所述輸入神經(jīng)元精度S_x(l)、所述權(quán)重精度S_w(l)和所述輸出神經(jīng)元梯度精度獲取梯度更新精度T；當(dāng)所述梯度更新精度T大于預(yù)設(shè)精度T_r時，調(diào)整所述輸入神經(jīng)元精度S_x(l)、權(quán)重精度S_w(l)和輸出神經(jīng)元梯度精度以使所述梯度更新精度T與所述預(yù)設(shè)精度T_r的差值的絕對值最小；

運算單元，用于根據(jù)調(diào)整后的輸入神經(jīng)元精度S_x(l)和權(quán)重精度S_w(l)來表示第L層的輸入神經(jīng)元和權(quán)重和根據(jù)調(diào)整后的輸出神經(jīng)元梯度精度來表示運算得到的第L層輸出神經(jīng)元梯度，以進行后續(xù)運算。

2.根據(jù)權(quán)利要求1所述的模塊，其特征在于，所述控制器單元根據(jù)所述輸入神經(jīng)元精度S_x(l)、所述權(quán)重精度S_w(l)和所述輸出神經(jīng)元梯度精度獲取梯度更新精度T，具體包括：

所述控制器單元根據(jù)預(yù)設(shè)公式對所述輸入神經(jīng)元精度S_x(l)、所述權(quán)重精度S_w(l)和所述輸出神經(jīng)元梯度精度進行計算，以得到所述梯度更新精度T；

其中，所述預(yù)設(shè)公式為：

3.根據(jù)權(quán)利要求2所述的模塊，其特征在于，所述控制器單元調(diào)整所述輸入神經(jīng)元精度S_x(l)、權(quán)重精度S_w(l)和輸出神經(jīng)元梯度精度包括：

所述控制器單元保持所述輸入神經(jīng)元精度S_x(l)和所述權(quán)重精度S_w(l)不變，減小所述輸出神經(jīng)元梯度精度

4.根據(jù)權(quán)利要求3所述的模塊，其特征在于，所述控制器單元減小所述輸出神經(jīng)元梯度精度時，增加表示所述輸出神經(jīng)元梯度的定點數(shù)據(jù)格式的位寬。

5.根據(jù)權(quán)利要求3或4所述的模塊，其特征在于，所述控制器單元減小所述輸出神經(jīng)元梯度精度后，所述控制器單元還用于：

判斷所述輸出神經(jīng)元梯度以表示所述輸出神經(jīng)元梯度的定點數(shù)據(jù)格式時是否溢出；

當(dāng)確定溢出時，增加表示所述輸出神經(jīng)元梯度的定點數(shù)據(jù)格式的位寬。

6.根據(jù)權(quán)利要求4或5所述的模塊，其特征在于，所述控制器單元增加所述表示所述權(quán)重的定點數(shù)據(jù)格式的位寬，包括：

所述控制器單元按照預(yù)設(shè)步長N1增加所述表示所述輸出神經(jīng)元梯度的定點數(shù)據(jù)格式的位寬；

其中，所述預(yù)設(shè)步長N1為1、2、4、6、7、8或者其他正整數(shù)。

7.根據(jù)權(quán)利要求4或5所述的模塊，其特征在于，所述控制器單元增加所述表示所述輸出神經(jīng)元梯度的定點數(shù)據(jù)格式的位寬，包括：

所述控制器單元按照2倍遞增的方式增加所述表示所述輸出神經(jīng)元梯度的定點數(shù)據(jù)格式的位寬。

8.根據(jù)權(quán)利要求1-7任一項所述的模塊，其特征在于，所述控制器單元還用于：

根據(jù)機器學(xué)習(xí)的方法獲取所述預(yù)設(shè)精度T_r，或者；

根據(jù)第L-1層輸出神經(jīng)元的個數(shù)、學(xué)習(xí)率和批處理時的樣本數(shù)量獲取所述預(yù)設(shè)精度T_r；且所述第L-1層輸出神經(jīng)元的個數(shù)和批處理時的樣本數(shù)量越多以及學(xué)習(xí)率越高，所述預(yù)設(shè)精度T_r越大。