[發明專利]基于深度學習的硬件適配裝置和方法

有效

• 申請號: 202111504826.8
• 申請日: 2021-12-10
• 公開（公告）號: CN114186678B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 洪明;朱鵬陽;嚴春偉
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06N3/0475;G06N5/04;G06F8/30;G06F8/41
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種基于深度學習的硬件適配裝置，包括：

深度學習推理框架模塊，用于解析輸入的目標模型文件以獲取神經網絡的拓撲結構信息；使用拓撲結構信息中的特征圖和計算操作分別作為節點和邊，以生成圖結構的中間表示；

子圖引擎模塊，用于對配置文件和中間表示進行融合，得到子圖算子，包括：對所述中間表示中的計算操作進行合并，以上述特征圖作為節點，合并的多個計算操作作為邊的子圖算子，其中，對所述中間表示中的計算操作進行合并包括如下至少一項：去除不需要的或對計算結果無影響的操作；將多個相鄰計算操作進行融合；以及將計算操作進行分解，以將分解的計算操作與在前或在后的計算操作相融合或實現對分解的計算操作的處理，其中，所述配置文件用于定義子圖算子的數據屬性和硬件類型；

硬件適配模塊，用于將所述子圖算子轉換為在與所述硬件類型對應的目標硬件上執行的指令碼，上述目標硬件包括以下至少一項：基于FPGA或ASIC的目標硬件、基于GPU的目標硬件、基于CPU的目標硬件；

其中，所述合并的多個計算操作作為邊的子圖算子，包括：

按照目標模型文件的拓撲順序依次遍歷圖結構中的每個算子，依據已注冊的Paddle算子-硬件中間表示的轉換表，標記能夠轉為硬件中間表示的算子；

對標記的算子采用反向深度優先搜索算法將相鄰的算子標記為同一個子圖；

將子圖中算子少于預設個算子的子圖刪除掉。

2.根據權利要求1所述的裝置，其中，所述硬件適配模塊，具體用于：

通過其與所述子圖算子對應的接口，將所述子圖算子轉換為在與所述接口對應的目標硬件上執行的指令碼。

3.根據權利要求2所述的裝置，其中，接口包括以下至少一項：硬件管理接口、多硬件統一上下文接口、模型組網接口、模型編譯接口、模型執行接口。

4.根據權利要求1-3任一項所述的裝置，其中，所述數據屬性包括：數據類型和/或數據結構。

5.根據權利要求4所述的裝置，其中，所述數據類型包括以下至少一項：fp32、int8、int16。

6.一種基于深度學習的硬件適配方法，包括：

獲取配置文件和目標模型文件；

解析輸入的目標模型文件以獲取神經網絡的拓撲結構信息；使用拓撲結構信息中的特征圖和計算操作分別作為節點和邊，以生成圖結構的中間表示；

利用所述配置文件和子圖引擎將中間表示進行融合，得到子圖算子，包括：對所述中間表示中的計算操作進行合并，以上述特征圖作為節點，合并的多個計算操作作為邊的子圖算子，其中，對所述中間表示中的計算操作進行合并包括如下至少一項：去除不需要的或對計算結果無影響的操作；將多個相鄰計算操作進行融合；以及將計算操作進行分解，以將分解的計算操作與在前或在后的計算操作相融合或實現對分解的計算操作的處理，其中，所述配置文件用于定義子圖算子的數據屬性和硬件類型；

根據硬件適配框架，將所述子圖算子轉換為在與所述硬件類型對應的目標硬件上執行的指令碼，上述目標硬件包括以下至少一項：基于FPGA或ASIC的目標硬件、基于GPU的目標硬件、基于CPU的目標硬件；

其中，所述合并的多個計算操作作為邊的子圖算子，包括：

按照目標模型文件的拓撲順序依次遍歷圖結構中的每個算子，依據已注冊的Paddle算子-硬件中間表示的轉換表，標記能夠轉為硬件中間表示的算子；

對標記的算子采用反向深度優先搜索算法將相鄰的算子標記為同一個子圖；

將子圖中算子少于預設個算子的子圖刪除掉。

7.根據權利要求6所述的方法，其中，所述根據硬件適配框架，將所述子圖算子轉換為在與所述硬件類型對應的目標硬件上執行的指令碼，包括：

根據所述硬件適配框架中與所述子圖算子對應的接口，將所述子圖算子轉換為在與所述接口對應的目標硬件上執行的指令碼。

8.根據權利要求7所述的方法，其中，接口包括以下至少一項：硬件管理接口、多硬件統一上下文接口、模型組網接口、模型編譯接口、模型執行接口。