[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)計算裝置、神經(jīng)網(wǎng)絡(luò)計算方法及相關(guān)產(chǎn)品

有效

• 申請?zhí)枺?/td>: 201910081971.6
• 申請日: 2019-01-28
• 公開（公告）號: CN111488976B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計）人: 請求不公布姓名
• 申請（專利權(quán)）人: 中科寒武紀(jì)科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06F7/483
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

1.一種神經(jīng)網(wǎng)絡(luò)計算裝置，所述裝置用于執(zhí)行浮點(diǎn)數(shù)據(jù)類型的人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練運(yùn)算；所述人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練運(yùn)算中包括第i層的神經(jīng)網(wǎng)絡(luò)訓(xùn)練運(yùn)算，i為正整數(shù)；所述計算裝置包括：控制器單元、運(yùn)算單元和轉(zhuǎn)換單元，其中，控制器單元與運(yùn)算單元以及轉(zhuǎn)換單元連接；所述第i層訓(xùn)練運(yùn)算中包括第i層正向運(yùn)算和第i層反向運(yùn)算；

所述控制器單元，用于獲取第i層的輸入神經(jīng)元數(shù)據(jù)、第i層權(quán)值數(shù)據(jù)、第i層計算指令；

所述控制器單元，還用于解析該第i層計算指令得到多個運(yùn)算指令，將所述第i層輸入神經(jīng)元數(shù)據(jù)、所述第i層權(quán)值數(shù)據(jù)發(fā)送給所述轉(zhuǎn)換單元，將所述多個運(yùn)算指令發(fā)送給所述運(yùn)算單元；

所述轉(zhuǎn)換單元，用于將該第i層輸入神經(jīng)元數(shù)據(jù)以及第i層權(quán)值數(shù)據(jù)中的全部或部分通過預(yù)設(shè)轉(zhuǎn)換參數(shù)執(zhí)行浮點(diǎn)型數(shù)據(jù)轉(zhuǎn)化為定點(diǎn)型數(shù)據(jù)，得到全部定點(diǎn)數(shù)據(jù)或混合數(shù)據(jù)，將全部定點(diǎn)數(shù)據(jù)或混合數(shù)據(jù)發(fā)送給所述運(yùn)算單元，所述混合數(shù)據(jù)包括：部分定點(diǎn)數(shù)據(jù)以及部分浮點(diǎn)數(shù)據(jù)；

所述運(yùn)算單元，用于依據(jù)多個運(yùn)算指令對全部定點(diǎn)數(shù)據(jù)執(zhí)行定點(diǎn)運(yùn)算或?qū)旌蠑?shù)據(jù)執(zhí)行混合運(yùn)算得到第i層的輸出結(jié)果；所述混合運(yùn)算包括：對部分定點(diǎn)數(shù)據(jù)執(zhí)行定點(diǎn)運(yùn)算以及對部分浮點(diǎn)數(shù)據(jù)執(zhí)行浮點(diǎn)運(yùn)算；

其中，所述預(yù)設(shè)轉(zhuǎn)換參數(shù)包括定點(diǎn)數(shù)的小數(shù)點(diǎn)位置或者縮放因子，在所述通過預(yù)設(shè)轉(zhuǎn)換參數(shù)執(zhí)行浮點(diǎn)型數(shù)據(jù)轉(zhuǎn)化為定點(diǎn)型數(shù)據(jù)方面，所述轉(zhuǎn)換單元具體用于：

基于所述預(yù)設(shè)轉(zhuǎn)換參數(shù)，采用如下公式將浮點(diǎn)型數(shù)據(jù)轉(zhuǎn)化為定點(diǎn)型數(shù)據(jù)：

當(dāng)轉(zhuǎn)換參數(shù)僅包括小數(shù)點(diǎn)位置，則計算公式為：

浮點(diǎn)型數(shù)據(jù)＝定點(diǎn)型數(shù)據(jù)×2＾position；

當(dāng)所述轉(zhuǎn)換參數(shù)僅包括縮放因子，則計算公式為：

浮點(diǎn)型數(shù)據(jù)＝定點(diǎn)型數(shù)據(jù)×scale；

當(dāng)所述轉(zhuǎn)換參數(shù)包括小數(shù)點(diǎn)位置和縮放因子，則計算公式為：

浮點(diǎn)型數(shù)據(jù)＝(定點(diǎn)型數(shù)據(jù)×2＾position)/scale；

其中，position表示定點(diǎn)型數(shù)據(jù)的小數(shù)點(diǎn)位置，scale表示縮放因子。

2.根據(jù)權(quán)利要求1所述的計算裝置，其特征在于，

所述控制器單元，還用于獲取第i層的輸入神經(jīng)元數(shù)據(jù)、第i層權(quán)值數(shù)據(jù)、第i層輸入神經(jīng)元梯度以及第i層反向計算指令；

所述控制器單元，還用于解析該第i層計算指令得到多個反向運(yùn)算指令，將第i層輸入神經(jīng)元數(shù)據(jù)、第i層權(quán)值數(shù)據(jù)以及第i層輸入神經(jīng)元梯度發(fā)送給轉(zhuǎn)換單元，將該多個運(yùn)算指令發(fā)送給運(yùn)算單元；

所述轉(zhuǎn)換單元，還用于將該第i層輸入神經(jīng)元數(shù)據(jù)、第i層權(quán)值數(shù)據(jù)以及第i層輸入神經(jīng)元梯度中的全部或部分執(zhí)行浮點(diǎn)類型與定點(diǎn)類型轉(zhuǎn)換得到全部定點(diǎn)數(shù)據(jù)或混合數(shù)據(jù)，將全部定點(diǎn)數(shù)據(jù)或混合數(shù)據(jù)發(fā)送給運(yùn)算單元，該混合數(shù)據(jù)包括：部分定點(diǎn)數(shù)據(jù)以及部分浮點(diǎn)數(shù)據(jù)；

所述運(yùn)算單元，還用于依據(jù)多個正向運(yùn)算指令對全部定點(diǎn)數(shù)據(jù)執(zhí)行定點(diǎn)運(yùn)算或?qū)旌蠑?shù)據(jù)執(zhí)行混合運(yùn)算得到第i層的權(quán)值梯度以及第i層輸出結(jié)果梯度；采用第i層的權(quán)值梯度與第i層權(quán)值進(jìn)行更新。

3.根據(jù)權(quán)利要求1所述的裝置，其特征在于，

所述轉(zhuǎn)換單元，具體用于將第i層輸入神經(jīng)元數(shù)據(jù)的部分轉(zhuǎn)換成部分定點(diǎn)輸入神經(jīng)元數(shù)據(jù)以及將第i層權(quán)值數(shù)據(jù)的部分轉(zhuǎn)換成部分定點(diǎn)權(quán)值數(shù)據(jù)；將部分定點(diǎn)輸入神經(jīng)元數(shù)據(jù)以及部分定點(diǎn)權(quán)值數(shù)據(jù)發(fā)送給運(yùn)算單元，將部分輸入神經(jīng)元數(shù)據(jù)和部分權(quán)值數(shù)據(jù)發(fā)送給運(yùn)算單元；

所述運(yùn)算單元，具體用于將部分定點(diǎn)輸入神經(jīng)元數(shù)據(jù)以及部分定點(diǎn)權(quán)值數(shù)據(jù)執(zhí)行定點(diǎn)數(shù)據(jù)運(yùn)算得到部分定點(diǎn)正向輸出結(jié)果，將部分定點(diǎn)正向輸出結(jié)果發(fā)送給轉(zhuǎn)換單元，

所述轉(zhuǎn)換單元，具體用于將該部分定點(diǎn)正向輸出結(jié)果執(zhí)行定點(diǎn)與浮點(diǎn)轉(zhuǎn)換得到第一部分浮點(diǎn)正向輸出結(jié)果，將第一部分浮點(diǎn)正向輸出結(jié)果發(fā)送給運(yùn)算單元；

所述運(yùn)算單元，具體用于將部分輸入神經(jīng)元數(shù)據(jù)和部分權(quán)值數(shù)據(jù)執(zhí)行運(yùn)算得到第二部分浮點(diǎn)正向運(yùn)算結(jié)果，將第一部分浮點(diǎn)正向運(yùn)算結(jié)果和第二部分浮點(diǎn)正向運(yùn)算結(jié)果結(jié)合起來得到第i層正向輸出結(jié)果。