[發明專利]神經網絡模型部署方法及裝置、電子設備和存儲介質

在審

• 申請號: 202010052349.5
• 申請日: 2020-01-17
• 公開（公告）號: CN111222637A
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 李南
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種神經網絡模型部署方法，其特征在于，包括：

加載神經網絡模型；

為所述神經網絡模型配置初始化信息，所述初始化信息包括為神經網絡模型的運行和數據存儲分配的資源；

基于所述神經網絡模型的網絡結構信息以及所述初始化信息，將所述神經網絡模型轉換為預設編程語言形式。

2.根據權利要求1所述的方法，其特征在于，所述基于所述神經網絡模型的網絡結構信息以及所述初始化信息，將所述神經網絡模型轉換為預設編程語言形式，包括：

確定所述神經網絡模型內的網絡層匹配的基礎算子，所述基礎算子由預設編程語言表示；

基于所述神經網絡模型的網絡結構信息、所述初始化信息和所述基礎算子，將所述神經網絡模型轉換為所述預設編程語言的形式。

3.根據權利要求2所述的方法，其特征在于，所述確定所述神經網絡模型內的網絡層匹配的基礎算子，包括：

基于所述神經網絡模型內的所述網絡層的類型，確定與所述類型對應的至少一個第一基礎算子；

從所述至少一個第一基礎算子中選擇出符合預設要求的第一基礎算子，并將選擇出的所述第一基礎算子確定為與所述網絡層匹配的所述基礎算子。

4.根據權利要求3所述的方法，其特征在于，所述從所述至少一個第一基礎算子中選擇出符合預設要求的第一基礎算子，包括以下方式中的至少一種：

根據所述神經網絡模型的所述網絡層的參數，從所述第一基礎算子中選擇出符合所述預設要求的第一基礎算子；

運行所述神經網絡模型，基于所述至少一個第一基礎算子的運行參數選擇出符合所述預設要求的第一基礎算子。

5.根據權利要求3或4所述的方法，其特征在于，所述預設要求包括：運行時間最短和/或占用內存最小。

6.根據權利要求2-5中任意一項所述的方法，其特征在于，所述基于所述神經網絡模型的網絡結構信息、所述初始化信息和所述基礎算子，將所述神經網絡模型轉換為所述預設編程語言的形式，包括：

利用所述初始化信息中包括的資源，運行所述神經網絡模型；

確定運行所述神經網絡模型的過程中的第一類數據以及第二類數據，所述第一類數據包括所述神經網絡模型中各網絡層的結構以及初始權重，所述第二類數據包括各網絡層經過優化后的權重；

將所述第一類數據配置為全局只讀數據，以及構建表示所述第二類數據的第一結構體，所述第一結構體包括所述第二類數據與所述基礎算子對應的輸入指針和輸出指針；

編譯形成由所述第一結構體作為參數的推理函數，并將所述基礎算子的調用方法寫入所述推理函數；

生成所述推理函數的輸入接口和輸出接口。

7.根據權利要求1-6中任意一項所述的方法，其特征在于，所述方法還包括：

獲取輸入數據；

利用所述預設編程語言形式的所述神經網絡模型對所述輸入數據進行處理，得到預測結果。

8.根據權利要求1-7中任意一項所述的方法，其特征在于，所述神經網絡模型包括特征提取神經網絡模型、分類神經網絡模型以及目標檢測神經網絡模型中的至少一種。

9.一種神經網絡模型部署裝置，其特征在于，包括：

加載模塊，用于加載神經網絡模型；

配置模塊，用于為所述神經網絡模型配置初始化信息，所述初始化信息包括為神經網絡模型的運行和數據存儲分配的資源；

轉換模塊，用于基于所述神經網絡模型的網絡結構信息以及所述初始化信息，將所述神經網絡模型轉換為預設編程語言形式。

10.根據權利要求9所述的裝置，其特征在于，所述轉換模塊還用于確定所述神經網絡模型內的網絡層匹配的基礎算子，所述基礎算子由預設編程語言表示；以及

基于所述神經網絡模型的網絡結構信息、所述初始化信息和所述基礎算子，將所述神經網絡模型轉換為所述預設編程語言的形式。