[發明專利]卷積神經網絡的處理方法和裝置

有效

• 申請號: 202010098799.8
• 申請日: 2020-02-18
• 公開（公告）號: CN111325332B
• 公開（公告）日: 2023-09-08
• 發明（設計）人: 李強;田超;路闊
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/0464;G06F17/16
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王艷斌

本申請公開了一種卷積神經網絡的處理方法和裝置，涉及計算機技術領域。具體實現方案為：通過獲取輸入矩陣、權重矩陣、激活標識、激活函數和權重矩陣組數；當權重矩陣組數小于或等于累加器的個數時，分別將輸入矩陣和權重矩陣輸入至多個加速器寄存器；控制多個運算單元從多個加速器寄存器之中讀取輸入矩陣和權重矩陣，并生成多個運算結果；以及將多個運算結果輸入多個累加器進行累加以生成累加結果，并根據激活標識和激活函數對累加結果進行激活。該方法中對多個累加器生成的累加結果進行激活，與卷積計算的過程均是并行處理的，提高了卷積神經網絡的計算效率，進而對因卷積計算效率引起的延遲問題有顯著的改善。

技術領域

本申請涉及計算機技術領域的卷積神經網絡技術領域，尤其涉及一種卷積神經網絡的處理方法和裝置。

背景技術

卷積神經網絡是深度學習的關鍵技術，但是由于卷積神經網絡模型具有數量級大、層次復雜、深度大等特點，使用傳統處理器單元進行卷積計算時存在效率較低的問題；尤其在語音信號處理等時延要求敏感的場景，卷積計算延遲使得系統實時性要求面臨巨大挑戰。

相關技術中，卷積神經網絡在基于模型具體參數處理時，是在所有點完成點積計算后，集中進行激活處理。由于激活處理的速度較慢，導致現有的卷積神經網絡存在計算效率低的技術問題。

發明內容

本申請第一方面實施例提出了一種卷積神經網絡的處理方法，所述卷積神經網絡包括卷積參數寄存器、多個加速器寄存器、與所述多個加速器寄存器分別相連的多個運算單元和與所述多個運算單元分別相連的多個累加器，所述方法包括：

獲取輸入矩陣、權重矩陣、激活標識、激活函數和權重矩陣組數；

當所述權重矩陣組數小于或等于所述累加器的個數時，分別將所述輸入矩陣和所述權重矩陣輸入至所述多個加速器寄存器；

控制所述多個運算單元從所述多個加速器寄存器之中讀取所述輸入矩陣和所述權重矩陣，并生成多個運算結果；以及

將所述多個運算結果輸入所述多個累加器進行累加以生成累加結果，并根據所述激活標識和所述激活函數對所述累加結果進行激活。

作為本申請實施例的第一種可能的實現方式，所述分別將所述輸入矩陣和所述權重矩陣輸入至所述多個加速器寄存器之前，還包括：

如果所述權重矩陣組數小于或等于所述多個累加器的個數，則對所述輸入矩陣進行轉換以生成轉換輸入矩陣，并對所述權重矩陣進行轉換以生成轉換權重矩陣；以及

分別將所述轉換輸入矩陣和所述轉換權重矩陣輸入所述多個加速器寄存器。

作為本申請實施例的第二種可能的實現方式，所述對所述輸入矩陣進行轉換以生成轉換輸入矩陣，包括：

將所述輸入矩陣C*H*W在內存之中轉換為H*W*C，其中，C為所述輸入矩陣的通道數，H為所述輸入矩陣的高，所述W為所述輸入矩陣的寬。

作為本申請實施例的第三種可能的實現方式，所述對所述權重矩陣進行轉換以生成轉換權重矩陣，包括：

將所述權重矩陣數據C*K*K在所述內存中轉換為K*K*C*C’，其中，C’為所述權重矩陣組數，K為卷積核尺寸。

作為本申請實施例的第四種可能的實現方式，所述多個加速器寄存器為兩個，所述多個運算單元的個數與所述加速器寄存器的大小相對應。

作為本申請實施例的第五種可能的實現方式，所述運算單元的個數為256個，所述加速器寄存器的大小為256字節，所述累加器的個數為64個。

本申請第二方面實施例提出了一種卷積神經網絡的處理裝置，所述卷積神經網絡包括卷積參數寄存器、多個加速器寄存器、與所述多個加速器寄存器分別相連的多個運算單元和與所述多個運算單元分別相連的多個累加器，所述裝置包括：