[發明專利]加速庫的設計方法、終端設備及存儲介質

有效

• 申請號: 201910880303.X
• 申請日: 2019-09-16
• 公開（公告）號: CN110490308B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 張洪光
• 申請（專利權）人: 普聯技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06F16/21
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李娟

1.一種前向推理引擎加速庫的設計方法，基于CEVA DSP芯片，其特征在于，所述方法包括：

將卷積神經網絡CNN模型的數據進行定點化，以采用整型數據表示所述CNN模型的浮點型數據；

通過磁盤直接存儲器存取DDMA優化方案，將所述CNN模型的隱層對應的隱層數據載入到內部內存IDM中；

通過所述CEVA DSP芯片的向量處理單元VPU對所述隱層數據進行計算，以對所述CNN模型進行優化；所述隱層為卷積層時，所述通過所述CEVA DSP芯片的向量處理單元VPU對所述隱層數據進行計算包括：將一行所述卷積層的輸入數據的頭部指針向前移動i個位置；將所述頭部指針之后的輸入數據寫入到向量寄存器中；其中，每個所述向量寄存器可寫入j個位置的數據，i小于j；將所述向量寄存器的前i個位置的數據置0，以及將所述向量寄存器中所述一行卷積層的輸入數據的尾部之后的位置的數據置0，以對所述輸入數據進行padding操作，使得基于VPU采用指令在向量寄存器中進行padding。

2.根據權利要求1所述的前向推理引擎加速庫的設計方法，其特征在于，所述通過磁盤直接存儲器存取DDMA優化方案，將所述CNN模型的隱層對應的隱層數據載入到內部內存IDM中，包括：

獲取所述IDM能夠載入的最大輸入通道數；

判斷所述最大輸入通道數是否大于所述CNN模型的輸入總通道數；

若是，則將所述輸入總通道數對應的所有輸入通道的隱層數據載入到所述IDM中。

3.根據權利要求1所述的前向推理引擎加速庫的設計方法，其特征在于，所述通過所述CEVA DSP芯片的向量處理單元VPU對所述隱層數據進行計算，包括：

通過所述VPU采用多個輸出通道同時對所述隱層數據進行計算。

4.根據權利要求1所述的前向推理引擎加速庫的設計方法，其特征在于，所述隱層為1＊1卷積層時，通過所述CEVA DSP芯片的向量處理單元VPU對所述隱層數據進行計算，還包括：

對載入所述IDM中的所述1＊1卷積層的輸入數據進行計算，得到輸出數據，并將所述輸出數據存儲至外部內存中；其中，每次計算第一數據量的所述輸入數據；

當載入到所述IDM中的所述輸入數據中剩余的數據量小于所述第一數據量時，通過預設指令將剩余數據量的所述輸入數據計算后得到的輸出數據存儲至所述外部內存中。

5.根據權利要求1所述的前向推理引擎加速庫的設計方法，其特征在于，所述隱層為卷積層時，所述通過所述CEVA DSP芯片的向量處理單元VPU對所述隱層數據進行計算，包括：

根據預設的卷積核模板數據，對所述卷積層的輸入數據進行滑窗計算；

根據預設的卷積核存儲順序，將所述滑窗計算的結果累加到所述向量寄存器中。

6.根據權利要求1所述的前向推理引擎加速庫的設計方法，其特征在于，所述隱層為卷積層時，所述通過所述CEVA DSP芯片的向量處理單元VPU對所述隱層數據進行計算，包括：

判斷所述卷積層的輸入數據是否已經進行padding操作；

若否，則通過所述VPU采用第一預設指令，將在向量寄存器中的所述輸入數據存儲至外部內存；

若是，則通過所述VPU采用第二預設指令，將在所述向量寄存器中的所述輸入數據存儲至外部內存。

7.根據權利要求1所述的前向推理引擎加速庫的設計方法，其特征在于，所述隱層為最大池化層時，所述通過所述CEVA DSP芯片的向量處理單元VPU 對所述隱層數據進行計算，包括：

選取所述最大池化層的輸入數據中相鄰兩行的大值，并根據所述大值生成向量，其中所述大值為所述輸入數據從大到小排序中靠前的預設數量的值；

分別依次選取所述向量中的奇數位置和偶數位置的值，并根據選取的所述奇數位置的值和所述偶數位置的值，生成兩個新的向量；

選取所述兩個新的向量中的大值作為最大池化層的輸出。