[發(fā)明專(zhuān)利]用于神經(jīng)網(wǎng)絡(luò)處理器的計(jì)算方法以及神經(jīng)網(wǎng)絡(luò)處理器

在審

• 申請(qǐng)?zhí)枺?/td>: 202310422977.1
• 申請(qǐng)日: 2023-04-19
• 公開(kāi)（公告）號(hào): CN116468091A
• 公開(kāi)（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 肖一鍵;陳原平;曾飛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 瑞芯微電子股份有限公司
• 主分類(lèi)號(hào): G06N3/063
• 分類(lèi)號(hào): G06N3/063;G06N3/0464;G06N3/08;G06F7/544
• 代理公司: 上海光華專(zhuān)利事務(wù)所(普通合伙) 31219
• 代理人: 龐紅芳

1.一種用于神經(jīng)網(wǎng)絡(luò)處理器的計(jì)算方法，其特征在于，包括：

獲取輸入數(shù)據(jù)，所述輸入數(shù)據(jù)的輸入通道維度小于神經(jīng)網(wǎng)絡(luò)處理器的乘法累加器的硬件輸入通道維度；

對(duì)所述輸入數(shù)據(jù)在輸入通道中的待讀取數(shù)據(jù)進(jìn)行重組排列，使得在讀取所述輸入通道的數(shù)據(jù)時(shí)，跳過(guò)所述輸入通道的無(wú)效數(shù)據(jù)，以連續(xù)讀取所述輸入數(shù)據(jù)；以及

將所述輸入通道的讀取的所述輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)對(duì)應(yīng)相乘并累加。

2.根據(jù)權(quán)利要求1所述的計(jì)算方法，其特征在于，對(duì)所述輸入數(shù)據(jù)在輸入通道中的待讀取數(shù)據(jù)進(jìn)行重組排列包括：

在高度方向上對(duì)所述輸入數(shù)據(jù)的待讀取數(shù)據(jù)進(jìn)行切分分組，使得讀取所述輸入通道的數(shù)據(jù)時(shí)，跳過(guò)軸向所述輸入通道的無(wú)效數(shù)據(jù)，以連續(xù)讀取高度方向上的所述輸入數(shù)據(jù)。

3.根據(jù)權(quán)利要求1或2所述的計(jì)算方法，其特征在于，對(duì)所述輸入數(shù)據(jù)在輸入通道中的待讀取數(shù)據(jù)進(jìn)行重組排列包括：

在寬度方向上對(duì)所述輸入數(shù)據(jù)的待讀取數(shù)據(jù)進(jìn)行切分分組，使得讀取所述輸入通道的數(shù)據(jù)時(shí)，跳過(guò)橫向所述輸入通道的無(wú)效數(shù)據(jù)，以連續(xù)讀取寬度方向上的所述輸入數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的計(jì)算方法，其特征在于，還包括：

獲取所述權(quán)重?cái)?shù)據(jù)；以及

對(duì)所述權(quán)重?cái)?shù)據(jù)進(jìn)行重組排列，包括：復(fù)制所述權(quán)重?cái)?shù)據(jù)，使得各讀取的所述輸入數(shù)據(jù)分別對(duì)應(yīng)于一份所述權(quán)重?cái)?shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的計(jì)算方法，其特征在于，相同輸出通道的各讀取的所述輸入數(shù)據(jù)的權(quán)重?cái)?shù)據(jù)相同。

6.根據(jù)權(quán)利要求1所述的計(jì)算方法，其特征在于，還包括：

獲取所述權(quán)重?cái)?shù)據(jù)，所述權(quán)重?cái)?shù)據(jù)包括多份復(fù)制數(shù)據(jù)，各讀取的所述輸入數(shù)據(jù)分別對(duì)應(yīng)于一份所述復(fù)制數(shù)據(jù)。

7.根據(jù)權(quán)利要求1所述的計(jì)算方法，其特征在于，將所述輸入通道的讀取的所述輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)對(duì)應(yīng)相乘并累加包括：

將所述輸入通道的讀取的不同的輸入數(shù)據(jù)分別與各自所對(duì)應(yīng)的權(quán)重?cái)?shù)據(jù)依次相乘后累加，以同時(shí)輸出多個(gè)輸出通道的輸出數(shù)據(jù)，

其中所述輸入通道的讀取的相同的輸入數(shù)據(jù)與所述輸入通道所所對(duì)應(yīng)的權(quán)重?cái)?shù)據(jù)依次相乘后累加形成一個(gè)輸出通道的輸出數(shù)據(jù)。

8.根據(jù)權(quán)利要求1所述的計(jì)算方法，其特征在于，將所述輸入通道的讀取的所述輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)對(duì)應(yīng)相乘并累加包括：

針對(duì)讀取的所述輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)進(jìn)行卷積運(yùn)算，以在輸出通道輸出卷積結(jié)果。

9.一種神經(jīng)網(wǎng)絡(luò)處理器，其特征在于，包括：

讀取流水線控制單元，被配置為獲取輸入數(shù)據(jù)，所述輸入數(shù)據(jù)的輸入通道維度小于神經(jīng)網(wǎng)絡(luò)處理器的乘法累加器的硬件輸入通道維度，對(duì)所述輸入數(shù)據(jù)在輸入通道中的待讀取數(shù)據(jù)進(jìn)行重組排列，使得在讀取所述輸入通道的數(shù)據(jù)時(shí)，跳過(guò)所述輸入通道的無(wú)效數(shù)據(jù)，以連續(xù)讀取所述輸入數(shù)據(jù)；

存儲(chǔ)單元，被配置為存儲(chǔ)重組排列后的所述輸入數(shù)據(jù)；

多個(gè)累加器，被配置為將所述存儲(chǔ)單元存儲(chǔ)的各所述輸入通道讀取的所述輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)對(duì)應(yīng)相乘并累加。

10.根據(jù)權(quán)利要求9所述的神經(jīng)網(wǎng)絡(luò)處理器，其特征在于，所述讀取流水線控制單元包括：

高度方向分組單元，被配置為在高度方向上對(duì)所述輸入數(shù)據(jù)的待讀取數(shù)據(jù)進(jìn)行切分分組，使得讀取所述輸入通道的數(shù)據(jù)時(shí)，跳過(guò)軸向所述輸入通道的無(wú)效數(shù)據(jù)，以連續(xù)讀取高度方向上的所述輸入數(shù)據(jù)；和/或

寬度方向分組單元，被配置為在寬度方向上對(duì)所述輸入數(shù)據(jù)的待讀取數(shù)據(jù)進(jìn)行切分分組，使得讀取所述輸入通道的數(shù)據(jù)時(shí)，跳過(guò)橫向所述輸入通道的無(wú)效數(shù)據(jù)，以連續(xù)讀取寬度方向上的所述輸入數(shù)據(jù)。