[發明專利]卷積神經網絡推理加速方法、加速器、設備及存儲介質

在審

• 申請號: 202011081286.2
• 申請日: 2020-10-10
• 公開（公告）號: CN112101510A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 徐天賜;景璐
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/02
• 分類號: G06N3/02;G06N3/08;G06N5/04;G06F17/15
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 王申雨

1.一種卷積神經網絡推理加速方法，其特征在于，包括：

判斷待計算卷積層的類型；

當卷積層為Depthwise卷積層時，令輸出特征圖通道數維度的向量化尺寸等于輸入特征圖通道數維度的向量化尺寸；將輸入特征圖通道數維度循環次數設置為1；將輸入特征圖的通道計算依據改為輸出特征圖通道；將卷積計算結果在輸入通道向量維度的加和改為輸入通道向量維度的選通；

輸入特征圖數據與卷積核數據進行乘加計算，得到輸出特征圖數據。

2.根據權利要求1所述的卷積神經網絡推理加速方法，其特征在于，所述輸入特征圖數據與卷積核數據進行乘加計算，包括：在輸出特征圖通道數、特征圖高度、特征圖寬度、輸入特征圖通道數、卷積核高度和卷積核寬度六個維度上迭代，按如上順序遍歷完成卷積計算。

3.根據權利要求2所述的卷積神經網絡推理加速方法，其特征在于，所述輸出特征圖通道數維度、特征圖寬度維度、輸入特征圖通道數維度和卷積核寬度維度的迭代索引為向量索引，迭代終值為ceil(N,N_VECTOR)、ceil(OW,OW_VECTOR)、ceil(C,C_VECTOR)和ceil(FW,FW_VECTOR)；特征圖高度維度和卷積核高度維度的迭代索引為對應尺寸，迭代步長為1。

4.根據權利要求1所述的卷積神經網絡推理加速方法，其特征在于，所述輸入通道向量維度的選通條件為匹配卷積計算模塊負責的輸出通道對應的輸入通道。

5.根據權利要求1所述的卷積神經網絡推理加速方法，其特征在于，所述方法應用于基于應用集成電路或現場可編程門陣列的卷積神經網絡推理加速器。

6.根據權利要求1所述的卷積神經網絡推理加速方法，其特征在于，所述乘加計算一次完成W_VECTOR×C_VECTOR個輸入特征圖數據與FW_VECTOR×C_VECTOR個卷積核數據的計算，產生OW_VECTOR個輸出特征圖數據；

其中，W_VECTOR為特征圖寬度維度的向量化尺寸；C_VECTOR為維度的向量化尺寸；FW_VECTOR為卷積核寬度維度的向量化尺寸；C_VECTOR為輸入特征圖通道數維度的向量化尺寸；OW_VECTOR為(W_VECTOR-FW_VECTOR+1)。

7.根據權利要求6所述的卷積神經網絡推理加速方法，其特征在于，N_VECTOR個卷積計算模塊同時使用不同輸出通道的卷積核對同一塊特征圖數據進行卷積計算，同時產生N_VECTOR個輸出通道的輸出特征圖數據；其中，N_VECTOR為輸出特征圖向量。

8.一種卷積神經網絡推理加速器，其特征在于，包括：

類型區分開關，用于區分判斷待計算卷積層的類型，控制類型設置模塊修改計算架構；

類型設置模塊，用于根據待計算卷積層的類型修改計算架構；當卷積層為Depthwise卷積層時，令輸出特征圖通道數維度的向量化尺寸等于輸入特征圖通道數維度的向量化尺寸；將輸入特征圖通道數維度循環次數設置為1；將輸入特征圖的通道計算依據改為輸出特征圖通道；將卷積計算結果在輸入通道向量維度的加和改為輸入通道向量維度的選通；

卷積計算模塊，用于對輸入特征圖數據與卷積核數據進行乘加計算，得到輸出特征圖數據。

9.一種卷積神經網絡推理加速設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至7任一項所述卷積神經網絡推理加速方法的步驟。

10.一種存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述卷積神經網絡推理加速方法的步驟。