[發明專利]神經網絡模型部署方法及裝置、電子設備和存儲介質

在審

• 申請號: 202010052349.5
• 申請日: 2020-01-17
• 公開（公告）號: CN111222637A
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 李南
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種神經網絡模型部署方法及裝置、電子設備和存儲介質，所述方法包括：加載神經網絡模型；為所述神經網絡模型配置初始化信息，所述初始化信息包括為神經網絡模型的運行和數據存儲分配的資源；基于所述神經網絡模型的網絡結構信息以及所述初始化信息，將所述神經網絡模型轉換為預設編程語言形式。本公開實施例可實現應用平臺的擴展能力，提高神經網絡模型的適用性。

技術領域

本公開涉及人工智能技術領域，尤其涉及一種神經網絡模型部署方法及裝置、電子設備和存儲介質。

背景技術

深度學習等神經網絡在具體應用時，需要各個方面的工程技術協作。模型的部署方案關系著模型是如何被程序所使用的，它在整個神經網絡學習應用場景中起著十分關鍵的作用。

目前，神經網絡的訓練與部署面對的環境是不同的，神經網絡的部署要求更加高效的性能。

發明內容

本公開提出了一種神經網絡模型部署的技術方案。

根據本公開的一方面，提供了一種神經網絡模型部署方法，包括：

加載神經網絡模型；

為所述神經網絡模型配置初始化信息，所述初始化信息包括為神經網絡模型的運行和數據存儲分配的資源；

基于所述神經網絡模型的網絡結構信息以及所述初始化信息，將所述神經網絡模型轉換為預設編程語言形式。

在一些可能的實施方式中，所述基于所述神經網絡模型的網絡結構信息以及所述初始化信息，將所述神經網絡模型轉換為預設編程語言形式，包括：

確定所述神經網絡模型內的網絡層匹配的基礎算子，所述基礎算子由預設編程語言表示；

基于所述神經網絡模型的網絡結構信息、所述初始化信息和所述基礎算子，將所述神經網絡模型轉換為所述預設編程語言的形式。

在一些可能的實施方式中，所述確定所述神經網絡模型內的網絡層匹配的基礎算子，包括：

基于所述神經網絡模型內的所述網絡層的類型，確定與所述類型對應的至少一個第一基礎算子；

從所述至少一個第一基礎算子中選擇出符合預設要求的第一基礎算子，并將選擇出的所述第一基礎算子確定為與所述網絡層匹配的所述基礎算子。

在一些可能的實施方式中，所述從所述至少一個第一基礎算子中選擇出符合預設要求的第一基礎算子，包括以下方式中的至少一種：

根據所述神經網絡模型的所述網絡層的參數，從所述第一基礎算子中選擇出符合所述預設要求的第一基礎算子；

運行所述神經網絡模型，基于所述至少一個第一基礎算子的運行參數選擇出符合所述預設要求的第一基礎算子。

在一些可能的實施方式中，所述預設要求包括：運行時間最短和/或占用內存最小。

在一些可能的實施方式中，所述基于所述神經網絡模型的網絡結構信息、所述初始化信息和所述基礎算子，將所述神經網絡模型轉換為所述預設編程語言的形式，包括：

利用所述初始化信息中包括的資源，運行所述神經網絡模型；

確定運行所述神經網絡模型的過程中的第一類數據以及第二類數據，所述第一類數據包括所述神經網絡模型中各網絡層的結構以及初始權重，所述第二類數據包括各網絡層經過優化后的權重；

將所述第一類數據配置為全局只讀數據，以及構建表示所述第二類數據的第一結構體，所述第一結構體包括所述第二類數據與所述基礎算子對應的輸入指針和輸出指針；

編譯形成由所述第一結構體作為參數的推理函數，并將所述基礎算子的調用方法寫入所述推理函數；