[發明專利]模型部署方法、裝置、設備和介質

有效

• 申請號: 202210708136.2
• 申請日: 2022-06-22
• 公開（公告）號: CN114781635B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 肖新華;於大維;冉雪峰
• 申請（專利權）人: 國汽智控（北京）科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06K9/62;G06F30/27
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 郭棟;劉芳

本申請提供一種模型部署方法、裝置、設備和介質，涉及深度學習技術領域，該方法包括：獲取人工智能芯片的芯片類型，根據芯片類型，在預設的軟件開發工具包中獲取中間模型和用于轉化中間模型的目標框架工具，根據目標框架工具，將中間模型轉換為芯片類型對應的二進制文件，根據二進制文件，將深度學習模型部署至人工智能芯片中。該技術方案中，通過利用軟件開發工具包中封裝的各種框架工具對模型進行轉換，使得用戶在進行模型部署時，不需要事先去了解芯片類型并根據芯片類型掌握對應的框架工具，降低了用戶工作量，方便了模型的部署，提高模型部署效率。

技術領域

本申請涉及深度學習技術領域，尤其涉及一種模型部署方法、裝置、設備和介質。

背景技術

深度學習模型通常都是通過大量的訓練數據訓練得到，訓練完成后的深度學習模型需要應用落地，賦能到產業應用中。例如將深度學習模型部署到自動駕駛車輛中的人工智能（Artificial Intelligence，AI）芯片中，AI芯片基于該深度學習模型的推理結果實現自動駕駛控制。

現有技術中，深度學習模型在部署到AI芯片時，通常都需要事先利用框架工具將深度學習模型進行格式轉換，然后才能部署到相應的芯片中。

但是，現有的模型部署方式，由于各個AI芯片廠家都有各自的框架工具，導致用戶在部署深度學習模型至不同AI芯片時，往往需要事先熟練去掌握不同的框架工具，費事費力，模型部署效率低。

發明內容

本申請提供一種模型部署方法、裝置、設備和介質，用于解決現有模型部署效率低的問題。

第一方面，本申請實施例提供一種模型部署方法，包括：

獲取人工智能芯片的芯片類型；

根據所述芯片類型，在預設的軟件開發工具包中獲取中間模型和用于轉化所述中間模型的目標框架工具，所述軟件開發工具包中包括至少一種中間模型和框架工具，所述中間模型由預先訓練好的深度學習模型轉化得到；

根據所述目標框架工具，將所述中間模型轉換為所述芯片類型對應的二進制文件；

根據所述二進制文件，將所述深度學習模型部署至所述人工智能芯片中。

在第一方面的一種可能設計中，所述根據所述芯片類型，在預設的軟件開發工具包中獲取目標中間模型和用于轉化所述中間模型的目標框架工具，包括：

根據預設對應表中的第一對應關系，獲取所述芯片類型對應的模型標識信息，所述第一對應關系用于表征各個芯片類型與模型標識信息的對應關系；

在所述軟件開發工具包中查找得到所述模型標識信息所標識的模型，作為所述中間模型；

根據所述預設對應表中的第二對應關系，獲取所述芯片類型對應的框架工具作為所述目標框架工具，所述第二對應關系用于表征各個芯片類型與框架工具的對應關系。

在第一方面的另一種可能設計中，所述方法還包括：

每間隔預設更新時間周期，對所述預設對應表進行更新。

在第一方面的再一種可能設計中，所述根據所述芯片類型，在預設的軟件開發工具包中獲取中間模型和用于轉化所述中間模型的目標框架工具之前，所述方法還包括：

獲取至少兩個預先訓練好的深度學習模型，其中，不同的深度學習模型基于不同的深度學習框架開發得到；

將所述至少兩個預先訓練好的深度學習模型轉換為所述中間模型；

將所述中間模型存儲到軟件開發工具包中。

在第一方面的又一種可能設計中，所述根據所述二進制文件，將所述深度學習模型部署至所述人工智能芯片中，包括：