[發明專利]神經網絡加速器

有效

• 申請號: 202011012850.5
• 申請日: 2020-09-24
• 公開（公告）號: CN111931918B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 周滔;劉國清;田松茂
• 申請（專利權）人: 深圳佑駕創新科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 毛丹

1.一種神經網絡加速器，其特征在于，包括：主控模塊、數據讀寫模塊和卷積運算模塊；所述卷積運算模塊包括第一緩存區、第二緩存區和乘積累加陣列；其中，

所述主控模塊，用于通過所述數據讀寫模塊讀取神經網絡各層對應的層解析內容并生成所述卷積運算模塊對應的卷積運算操作指令和卷積運算數據讀取指令；

所述數據讀寫模塊，用于根據所述卷積運算數據讀取指令讀取卷積運算輸入源數據和卷積運算參數源數據并發送至所述卷積運算模塊；

所述卷積運算模塊，用于將所述卷積運算輸入源數據存儲到所述第一緩存區和將所述卷積運算參數源數據存儲到第二緩存區，響應于所述主控模塊的卷積運算操作指令，由所述第一緩存區從所述卷積運算輸入源數據中輸出第一預設規模的卷積運算輸入數據至乘積累加陣列，由所述第二緩存區從所述卷積運算參數源數據中輸出第二預設規模的卷積運算參數數據至所述乘積累加陣列，以使所述乘積累加陣列依據所述卷積運算輸入數據和卷積運算參數數據進行乘積累加運算輸出卷積運算結果；

其中，所述第二預設規模的第一維度數據規模與所述神經網絡的卷積層輸出通道數對應，所述第二預設規模的第二維度數據規模和第一預設規模的第三維度數據規模均與卷積核尺寸對應；所述第一預設規模的第四維度數據規模與單次卷積并行數對應；所述乘積累加陣列的第一維度輸入規模與所述卷積層輸出通道數對應、第二維度輸入規模與所述卷積核尺寸對應以及第三維度輸入規模與所述單次卷積并行數對應。

2.根據權利要求1所述的神經網絡加速器，其特征在于，所述神經網絡加速器還包括：卷積后處理模塊；其中，所述卷積后處理模塊包括：具有預設數據處理帶寬的激活處理模塊和池化處理模塊；

所述激活處理模塊，用于響應于所述主控模塊的激活處理指令，將所述卷積運算模塊的卷積運算結果進行激活處理并傳輸至所述池化處理模塊；

所述池化處理模塊，用于響應于所述主控模塊的池化處理指令，將所述激活處理模塊輸出的激活處理結果進行池化處理并通過所述數據讀寫模塊將所述激活處理結果寫入內存。

3.根據權利要求2所述的神經網絡加速器，其特征在于，所述卷積后處理模塊還包括：數據切分模塊；其中，

所述數據切分模塊，用于從所述卷積運算模塊接收所述卷積運算結果，并將所述卷積運算結果按照所述數據處理帶寬切分后再交由所述激活處理模塊進行激活處理。

4.根據權利要求3所述的神經網絡加速器，其特征在于，所述數據處理帶寬與所述乘積累加陣列的輸出規模對應；所述乘積累加陣列的輸出規模根據所述卷積層輸出通道數和所述單次卷積并行數確定。

5.根據權利要求2至4任一項所述的神經網絡加速器，其特征在于，所述神經網絡加速器還包括：具有所述數據處理帶寬的多源數據處理模塊；所述多源數據處理模塊包括第一數據輸入端和第二數據輸入端；所述第一數據輸入端，用于從所述卷積運算模塊、卷積后處理模塊和/或內存中讀取數據；所述第二數據輸入端，用于從內存中讀取數據；其中，

所述多源數據處理模塊，用于響應于所述主控模塊的多源數據處理指令，將通過所述第一數據輸入端讀取的數據作為第一待處理數據，將通過所述第二數據輸入端讀取的數據作為第二待處理數據，并對所述第一待處理數據和所述第二待處理數據進行由所述多源數據處理指令所指示的相應處理。

6.根據權利要求5所述的神經網絡加速器，其特征在于，所述由所述多源數據處理指令所指示的相應處理包括數據拼接處理、數據相加處理和/或全連接處理。

7.根據權利要求6所述的神經網絡加速器，其特征在于，所述由所述多源數據處理指令所指示的相應處理包括所述全連接處理時，所述第一待處理數據和第二待處理數據均來源于內存。

8.根據權利要求1所述的神經網絡加速器，其特征在于，所述第一緩存區包括寫對齊單元、第一緩沖單元和讀對齊單元；其中，

所述寫對齊單元，用于將所述卷積運算輸入源數據按照預設數據處理帶寬進行對齊后寫入所述第一緩沖單元；

所述讀對齊單元，用于將從所述第一緩沖單元中讀取的數據按照所述預設數據處理帶寬對齊后再輸出至所述乘積累加陣列。