[發明專利]用于神經網絡處理器的計算方法以及神經網絡處理器

在審

• 申請號: 202310422977.1
• 申請日: 2023-04-19
• 公開（公告）號: CN116468091A
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 肖一鍵;陳原平;曾飛
• 申請（專利權）人: 瑞芯微電子股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/0464;G06N3/08;G06F7/544
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 龐紅芳

本發明提供用于神經網絡處理器的計算方法以及神經網絡處理器。所述方法包括：獲取輸入數據，所述輸入數據的輸入通道維度小于神經網絡處理器的乘法累加器的硬件輸入通道維度；對所述輸入數據在輸入通道中的待讀取數據進行重組排列，使得在讀取所述輸入通道的數據時，跳過所述輸入通道的無效數據，以連續讀取所述輸入數據；以及將所述輸入通道的讀取的所述輸入數據和權重數據對應相乘并累加。通過本發明的用于神經網絡處理器的計算方法及神經網絡處理器，可以調整神經網絡處理器中乘法累加器運算過程中的數據排列方式，有效提高乘法累加器的利用率，降低乘法累加器無效運算占比，同時減少了因無效運算導致的功耗開銷。

技術領域

本發明屬于嵌入式技術領域，特別地涉及用于神經網絡處理器的計算方法以及神經網絡處理器。

背景技術

傳統嵌入式神經網絡處理器(NPU，Neural-network?Processing?Unit)的乘法累加器(MAC，Multiply?Accumulate)在運算時，僅能處理固定尺度(例如16x16)大小對齊的數據。當所需處理數據在輸入通道維度上某一維度小于乘法累加器輸入通道維度大小對齊量時，將使乘法累加器中的一部分乘累加單元運算無效數據，導致嵌入式神經網絡處理器硬件未被完全利用，導致嵌入式神經網絡處理器性能表現情況不佳，且帶來不必要的功耗開銷。

發明內容

本發明的目的在于提供用于神經網絡處理器的計算方法以及神經網絡處理器，用于對嵌入式神經網絡處理器中乘法累加器的利用率進行改善提升，優化嵌入式神經網絡處理器性能。

在第一方面，本發明的實施例提供一種用于神經網絡處理器的計算方法。該計算方法包括：獲取輸入數據，所述輸入數據的輸入通道維度小于神經網絡處理器的乘法累加器的硬件輸入通道維度；對所述輸入數據在輸入通道中的待讀取數據進行重組排列，使得在讀取所述輸入通道的數據時，跳過所述輸入通道的無效數據，以連續讀取所述輸入數據；以及將所述輸入通道的讀取的所述輸入數據和權重數據對應相乘并累加。

于本發明的一實施例中，對所述輸入數據在輸入通道中的待讀取數據進行重組排列包括：在高度方向上對所述輸入數據的待讀取數據進行切分分組，使得讀取所述輸入通道的數據時，跳過軸向所述輸入通道的無效數據，以連續讀取高度方向上的所述輸入數據。

于本發明的一實施例中，對所述輸入數據在輸入通道中的待讀取數據進行重組排列包括：在寬度方向上對所述輸入數據的待讀取數據進行切分分組，使得讀取所述輸入通道的數據時，跳過橫向所述輸入通道的無效數據，以連續讀取寬度方向上的所述輸入數據。

于本發明的一實施例中，該計算方法還包括：獲取所述權重數據；以及對所述權重數據進行重組排列，包括：復制所述權重數據，使得各讀取的所述輸入數據分別對應于一份所述權重數據。

于本發明的一實施例中，相同輸出通道的各讀取的所述輸入數據的權重數據相同。

于本發明的一實施例中，該計算方法還包括：獲取所述權重數據，所述權重數據包括多份復制數據，各讀取的所述輸入數據分別對應于一份所述復制數據。

于本發明的一實施例中，將所述輸入通道的讀取的所述輸入數據和權重數據對應相乘并累加包括：將所述輸入通道的讀取的不同的輸入數據分別與各自所對應的權重數據依次相乘后累加，以同時輸出多個輸出通道的輸出數據，其中所述輸入通道的讀取的相同的輸入數據與所述輸入通道所所對應的權重數據依次相乘后累加形成一個輸出通道的輸出數據。

于本發明的一實施例中，將所述輸入通道的讀取的所述輸入數據和權重數據對應相乘并累加包括：針對讀取的所述輸入數據和權重數據進行卷積運算，以在輸出通道輸出卷積結果。