[發明專利]卷積神經網絡的處理方法和裝置

有效

• 申請號: 202010098799.8
• 申請日: 2020-02-18
• 公開（公告）號: CN111325332B
• 公開（公告）日: 2023-09-08
• 發明（設計）人: 李強;田超;路闊
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/0464;G06F17/16
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王艷斌

1.一種卷積神經網絡的處理方法，其特征在于，所述卷積神經網絡包括卷積參數寄存器、多個加速器寄存器、與所述多個加速器寄存器分別相連的多個運算單元和與所述多個運算單元分別相連的多個累加器，所述方法包括：

獲取輸入矩陣、權重矩陣、激活標識、激活函數和權重矩陣組數；

當所述權重矩陣組數小于或等于所述累加器的個數時，分別將所述輸入矩陣和所述權重矩陣輸入至所述多個加速器寄存器；

控制所述多個運算單元從所述多個加速器寄存器之中讀取所述輸入矩陣和所述權重矩陣，并生成多個運算結果；以及

將所述多個運算結果輸入所述多個累加器進行累加以生成累加結果，并根據所述激活標識和所述激活函數對所述累加結果進行激活；

所述分別將所述輸入矩陣和所述權重矩陣輸入至所述多個加速器寄存器之前，還包括：

如果所述權重矩陣組數小于或等于所述累加器的個數，則對所述輸入矩陣進行轉換以生成轉換輸入矩陣，并對所述權重矩陣進行轉換以生成轉換權重矩陣；以及

分別將所述轉換輸入矩陣和所述轉換權重矩陣輸入所述多個加速器寄存器。

2.如權利要求1所述的卷積神經網絡的處理方法，其特征在于，所述對所述輸入矩陣進行轉換以生成轉換輸入矩陣，包括：

將所述輸入矩陣C*H*W在內存之中轉換為H*W*C，其中，C為所述輸入矩陣的通道數，H為所述輸入矩陣的高，所述W為所述輸入矩陣的寬。

3.如權利要求1或2所述的卷積神經網絡的處理方法，其特征在于，所述對所述權重矩陣進行轉換以生成轉換權重矩陣，包括：

將所述權重矩陣數據C*K*K在內存中轉換為K*K*C*C’，其中，C’為所述權重矩陣組數，K為卷積核尺寸。

4.如權利要求1-2任一項所述的卷積神經網絡的處理方法，其特征在于，所述多個加速器寄存器為兩個，所述多個運算單元的個數與所述加速器寄存器的大小相對應。

5.如權利要求4所述的卷積神經網絡的處理方法，其特征在于，所述運算單元的個數為256個，所述加速器寄存器的大小為256字節，所述累加器的個數為64個。

6.一種卷積神經網絡的處理裝置，其特征在于，所述卷積神經網絡包括卷積參數寄存器、多個加速器寄存器、與所述多個加速器寄存器分別相連的多個運算單元和與所述多個運算單元分別相連的多個累加器，所述裝置包括：

獲取模塊，用于獲取輸入矩陣、權重矩陣、激活標識、激活函數和權重矩陣組數；

第一輸入模塊，用于當所述權重矩陣組數小于或等于所述累加器的個數時，分別將所述輸入矩陣和所述權重矩陣輸入至所述多個加速器寄存器；

生成模塊，用于控制所述多個運算單元從所述多個加速器寄存器之中讀取所述輸入矩陣和所述權重矩陣，并生成多個運算結果；以及

處理模塊，用于將所述多個運算結果輸入所述多個累加器進行累加以生成累加結果，并根據所述激活標識和所述激活函數對所述累加結果進行激活；

所述裝置，還包括：

轉換模塊，用于如果所述權重矩陣組數小于或等于所述多個累加器的個數，則對所述輸入矩陣進行轉換以生成轉換輸入矩陣，并對所述權重矩陣進行轉換以生成轉換權重矩陣；以及

第二輸入模塊，用于分別將所述轉換輸入矩陣和所述轉換權重矩陣輸入所述多個加速器寄存器。

7.如權利要求6所述的卷積神經網絡的處理裝置，其特征在于，所述轉換模塊，還用于：

將所述輸入矩陣C*H*W在內存之中轉換為H*W*C，其中，C為所述輸入矩陣的通道數，H為所述輸入矩陣的高，所述W為所述輸入矩陣的寬。

8.如權利要求6或7所述的卷積神經網絡的處理裝置，其特征在于，所述轉換模塊，還用于：

將所述權重矩陣數據C*K*K在內存中轉換為K*K*C*C’，其中，C’為所述權重矩陣組數，K為卷積核尺寸。

9.如權利要求6-7任一項所述的卷積神經網絡的處理裝置，其特征在于，所述多個加速器寄存器為兩個，所述多個運算單元的個數與所述加速器寄存器的大小相對應。