[發明專利]加速庫的設計方法、終端設備及存儲介質

有效

• 申請號: 201910880303.X
• 申請日: 2019-09-16
• 公開（公告）號: CN110490308B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 張洪光
• 申請（專利權）人: 普聯技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06F16/21
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李娟

本發明適用于計算機技術領域，提供了加速庫的設計方法、終端設備及存儲介質，所述方法包括：將卷積神經網絡CNN模型的數據進行定點化，以采用整型數據表示所述CNN模型的浮點型數據；通過磁盤直接存儲器存取DDMA優化方案，將所述CNN模型的隱層對應的隱層數據載入到內部內存IDM中；根據載入到所述IDM中的隱層數據，通過所述CEVA DSP芯片的向量處理單元VPU對所述隱層數據進行計算，以對所述CNN模型進行優化。本加速庫通過DDMA技術和VPU指令對CNN模型進行優化，支持CNN模型的大部分操作，可將本加速庫移植到現有前向推理引擎中，使現有前向推理引擎支持DSP優化，以及支持在本加速庫的基礎上開發新的前向推理框架。

技術領域

本發明屬于計算機技術領域，尤其涉及加速庫的設計方法、終端設備及存儲介質。

背景技術

目前，隨著大規模的卷積神經網絡(Convolution Neutral Network，CNN)網絡對硬件的要求不斷提高，CNN前向推理引擎應運而生，如騰訊公司開發的NCNN、阿里巴巴公司開發的MNN以及英偉達公司開發的TensorRT。據統計，在全球范圍內，每3部智能手機中就有一部使用了CEVA DSP技術，而現有的所有前向推理引擎都只支持ARM優化，無法支持DSP優化。因此，采用CEVA DSP技術的終端難以使用現有前向推理引擎進行智能圖像和視覺處理，這樣不利于前向推理引擎的廣泛應用。

發明內容

有鑒于此，本發明實施例提供了加速庫的設計方法、終端設備及存儲介質，以解決現有技術中現有的所有前向推理引擎無法支持DSP優化的問題。

本發明實施例的第一方面提供了一種前向推理引擎加速庫的設計方法，基于CEVADSP芯片，方法包括：

將卷積神經網絡CNN模型的數據進行定點化，以采用整型數據表示所述CNN模型的浮點型數據；

通過磁盤直接存儲器存取(Disk Direct Memory Access，DDMA)優化方案將所述CNN模型的隱層對應的隱層數據載入到內部內存IDM中；

通過所述CEVA DSP芯片的向量處理單元VPU對所述隱層數據進行計算，以對所述CNN模型進行優化。

本發明實施例的第二方面提供了一種前向推理引擎加速庫的設計裝置，包括CEVADSP芯片和外部內存，所述CEVA DSP芯片，用于將卷積神經網絡CNN模型的數據進行定點化，以采用整型數據表示所述CNN模型的浮點型數據；通過磁盤直接存儲器存取DDMA優化方案將所述CNN模型的隱層對應的隱層數據載入到內部內存IDM中；通過所述CEVA DSP芯片的向量處理單元VPU對所述隱層數據進行計算，以對所述CNN模型進行優化；所述外部內存，用于存儲所述隱層數據。

本發明實施例的第三方面提供了一種終端設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如上述前向推理引擎加速庫的設計方法的步驟。

本發明實施例的第四方面提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現如上述前向推理引擎加速庫的設計方法的步驟。

本發明實施例通過將卷積神經網絡CNN模型的數據進行定點化，采用DDMA優化技術將所述CNN模型的隱層對應的隱層數據載入到內部內存IDM中，并通過所述CEVA DSP芯片的向量處理單元VPU對所述隱層數據進行計算，從而得到基于CEVA DSP芯片的CNN前向推理引擎加速庫，本加速庫通過DDMA技術和VPU指令對CNN模型進行優化，支持CNN模型的大部分操作，可將本加速庫移植到現有前向推理引擎中，使現有前向推理引擎支持DSP優化，以及支持在本加速庫的基礎上開發新的前向推理框架。

附圖說明