[發明專利]基于深度學習的硬件適配裝置和方法

有效

• 申請號: 202111504826.8
• 申請日: 2021-12-10
• 公開（公告）號: CN114186678B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 洪明;朱鵬陽;嚴春偉
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06N3/0475;G06N5/04;G06F8/30;G06F8/41
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開提供了一種基于深度學習的硬件適配裝置和方法，涉及深度學習和圖優化技術領域。該裝置的一實施方式包括：深度學習推理框架模塊，用于基于輸入的目標模型文件，得到圖結構的中間表示；子圖引擎模塊，用于對配置文件和中間表示進行融合，得到子圖算子，其中，配置文件用于定義子圖算子的數據屬性和硬件類型；硬件適配模塊，用于將子圖算子轉換為在與硬件類型對應的目標硬件上執行的指令碼。

技術領域

本公開涉及計算機領域，具體涉及深度學習和圖優化，尤其涉及一種基于深度學習的硬件適配裝置和方法。

背景技術

隨著深度學習技術在各領域的廣泛應用，涌現了大量比中央處理器(CentralProcessing?Unit/Processor，CPU)、圖形處理器(Graphics?Processing?Unit，GPU)的等傳統架構更高效的人工智能(Artificial?Intelligence，AI)芯片；良好的軟件生態是AI硬件獲得成功的關鍵，它不僅取決于硬件廠商自身軟件棧的成熟度，更依賴于是否能夠獲得深度學習推理框架的廣泛支持，而后者能夠幫助用戶簡化業務部署過程，降低因硬件差異帶來的遷移成本，從而可以快速地獲得更高的性能和能效收益。

目前，各大深度學習推理框架普遍采用以下方案：(1)委托(Delegate)方式：TensorFlow?Lite和MindSpore?Lite普遍采用委托(Delegate)方式將模型中部分算子運行在GPU、數字信號處理(Digital?Signal?Process，DSP)和網絡處理器(NPU)等加速器上，廠商在適配時只需為每個硬件分別實現Delegate子類及其接口，在模型優化期間對硬件支持的多個算子融合成子圖算子，而在模型執行期間運行子圖算子時將子圖轉成硬件模型并在執行后向框架返回結果。(2)Android?NNAPI(Android?Neural?Networks?API)和AndroidNN?Runtime(ART)：為了將推理框架和硬件適配解耦，Google對向框架層的設備管理、模型組網、執行等接口進行標準化建立Android?NNAPI接口體系，然后通過Android?NN?Runtime適配不同的AI硬件，這樣硬件廠商在適配Android?NN?Runtime后，理論上可以透過統一的Android?NNAPI接入不同的深度學習推理框架，例如TensorFlow?Lite和PyTorch?Mobile(移動端)。

發明內容

本公開實施例提出了一種基于深度學習的硬件適配裝置和方法。

第一方面，本公開實施例提出了一種基于深度學習的硬件適配裝置，包括：深度學習推理框架模塊，用于基于輸入的目標模型文件，得到圖結構的中間表示；子圖引擎模塊，用于對配置文件和中間表示進行融合，得到子圖算子，其中，配置文件用于定義子圖算子的數據屬性和硬件類型；硬件適配模塊，用于將子圖算子轉換為在與硬件類型對應的目標硬件上執行的指令碼。

第二方面，本公開實施例提出了一種基于深度學習的硬件適配方法，包括：獲取配置文件和目標模型文件；利用深度學習推理框架，得到圖結構的中間表示；利用配置文件和子圖引擎將中間表示進行融合，得到子圖算子，其中，配置文件用于定義子圖算子的數據屬性和硬件類型；根據硬件適配框架，將子圖算子轉換為在與硬件類型對應的目標硬件上執行的指令碼。

第三方面，本公開實施例提出了一種電子設備，包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行如第二方面描述的方法。

第四方面，本公開實施例提出了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，計算機指令用于使計算機執行如第二方面描述的方法。

第五方面，本公開實施例提出了一種計算機程序產品，包括計算機程序，計算機程序在被處理器執行時實現如第二方面描述的方法。