[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)運(yùn)算模塊及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811040961.X
• 申請(qǐng)日: 2018-09-06
• 公開（公告）號(hào): CN110880037A
• 公開（公告）日: 2020-03-13
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 上海寒武紀(jì)信息科技有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

本發(fā)明公開了一種神經(jīng)網(wǎng)絡(luò)運(yùn)算模塊，包括存儲(chǔ)單元、用于從該存儲(chǔ)單元獲取第L層的輸入神經(jīng)元精度、權(quán)重精度和輸出神經(jīng)元梯度精度；根據(jù)輸入神經(jīng)元精度、權(quán)重精度和輸出神經(jīng)元梯度精度，獲取梯度更新精度T；當(dāng)梯度更新精度T大于預(yù)設(shè)精度T_r時(shí)，調(diào)整輸入神經(jīng)元精度、權(quán)重精度和輸出神經(jīng)元梯度精度；和用于根據(jù)增大后的輸入神經(jīng)元精度和權(quán)重精度來表示第L層的輸出神經(jīng)元和權(quán)重和根據(jù)增大的輸出神經(jīng)元梯度精度來表示運(yùn)算得到的第L層輸出神經(jīng)元梯度，以進(jìn)行后續(xù)運(yùn)算的運(yùn)算單元。采用本發(fā)明實(shí)施例可以在滿足運(yùn)算需求的同時(shí)，減少了運(yùn)算結(jié)果的誤差和運(yùn)算開銷，節(jié)省了運(yùn)算資源。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)領(lǐng)域，特別涉及一種神經(jīng)網(wǎng)絡(luò)運(yùn)算模塊及方法。

背景技術(shù)

定點(diǎn)數(shù)是一種可以指定小數(shù)點(diǎn)位置的數(shù)據(jù)格式，我們通常用位寬來表示一個(gè)定點(diǎn)數(shù)的數(shù)據(jù)長度。例如，16位定點(diǎn)數(shù)的位寬就是16。對(duì)于給定位寬的定點(diǎn)數(shù)，可表示數(shù)據(jù)的精度和可表示的數(shù)字范圍是此消彼長的，如果可以表示的精度越大，則可表示的數(shù)字范圍就越小。如圖1a所示，對(duì)于位寬為bitnum的定點(diǎn)數(shù)據(jù)格式，第一位為符號(hào)位，整數(shù)部分占x位，小數(shù)部分占s位，則該定點(diǎn)數(shù)據(jù)格式能夠表示的最大定點(diǎn)精度S為2^-s。該定點(diǎn)數(shù)據(jù)格式可以表示的范圍為[neg,pos]，其中pos＝(2^bitnum-1-1)*2^-s，neg＝-(2^bitnum-1)*2^-s。

在神經(jīng)網(wǎng)絡(luò)運(yùn)算中，數(shù)據(jù)可以用定點(diǎn)數(shù)據(jù)格式進(jìn)行表示、運(yùn)算。例如，在正向運(yùn)算過程中，第L層的數(shù)據(jù)包括輸入神經(jīng)元X^(l)、輸出神經(jīng)元Y^(l)、權(quán)重W^(l)。在反向運(yùn)算過程中，第L層的數(shù)據(jù)包括輸入神經(jīng)元梯度輸出神經(jīng)元梯度權(quán)重梯度可以將上面的數(shù)據(jù)均用定點(diǎn)數(shù)進(jìn)行表示，也可以用定點(diǎn)數(shù)進(jìn)行運(yùn)算。

在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程通常包括正向運(yùn)算和反向運(yùn)算兩個(gè)步驟，在反向運(yùn)算時(shí)，輸入神經(jīng)元梯度、權(quán)重梯度和輸出神經(jīng)元梯度所需要的精度可能會(huì)出現(xiàn)變化，可能隨著訓(xùn)練的過程增大，如果定點(diǎn)數(shù)的精度不夠，會(huì)導(dǎo)致運(yùn)算結(jié)果出現(xiàn)較大誤差，甚至?xí)?dǎo)致訓(xùn)練失敗。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例所要解決的技術(shù)問題在于神經(jīng)網(wǎng)絡(luò)運(yùn)算過程中，輸入神經(jīng)元精度、權(quán)重精度或者輸出神經(jīng)元梯度精度不夠，導(dǎo)致出現(xiàn)運(yùn)算或訓(xùn)練的結(jié)果存在誤差，本發(fā)明實(shí)施例提供一種神經(jīng)網(wǎng)絡(luò)運(yùn)算模塊及方法，動(dòng)態(tài)調(diào)整輸入神經(jīng)元精度，權(quán)重精度和輸出神經(jīng)元梯度精度，降低了運(yùn)算結(jié)果或訓(xùn)練結(jié)果的誤差。

第一方面，本發(fā)明提供了一種神經(jīng)網(wǎng)絡(luò)運(yùn)算模塊，該神經(jīng)網(wǎng)絡(luò)運(yùn)算模塊用于進(jìn)行多層神經(jīng)網(wǎng)絡(luò)的運(yùn)算，包括：

存儲(chǔ)單元，用于存儲(chǔ)輸入神經(jīng)元精度、權(quán)重精度和輸出神經(jīng)元梯度精度；

控制器單元，用于從所述存儲(chǔ)單元獲取所述多層神經(jīng)網(wǎng)絡(luò)第L層的輸入神經(jīng)元精度S_x(l)、權(quán)重精度S_w(l)和輸出神經(jīng)元梯度精度其中，所述L為大于0的整數(shù)；根據(jù)所述輸入神經(jīng)元精度S_x(l)、所述權(quán)重精度S_w(l)和所述輸出神經(jīng)元梯度精度獲取梯度更新精度T；當(dāng)所述梯度更新精度T大于預(yù)設(shè)精度T_r時(shí)，調(diào)整所述輸入神經(jīng)元精度S_x(l)、權(quán)重精度S_w(l)和輸出神經(jīng)元梯度精度以使所述梯度更新精度T與所述預(yù)設(shè)精度T_r的差值的絕對(duì)值最小；

運(yùn)算單元，用于根據(jù)調(diào)整后的輸入神經(jīng)元精度S_x(l)和權(quán)重精度S_w(l)來表示第L層的輸出神經(jīng)元和權(quán)重，根據(jù)調(diào)整的輸出神經(jīng)元梯度精度來表示運(yùn)算得到的第L層輸出神經(jīng)元梯度，以進(jìn)行后續(xù)運(yùn)算。

在一種可行的實(shí)施例中，所述控制器單元根據(jù)所述輸入神經(jīng)元精度S_x(l)、所述權(quán)重精度S_w(l)和所述輸出神經(jīng)元梯度精度獲取梯度更新精度T，具體包括：