[發明專利]模型部署方法、裝置、設備和介質

有效

• 申請號: 202210708136.2
• 申請日: 2022-06-22
• 公開（公告）號: CN114781635B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 肖新華;於大維;冉雪峰
• 申請（專利權）人: 國汽智控（北京）科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06K9/62;G06F30/27
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 郭棟;劉芳

1.一種模型部署方法，其特征在于，所述方法包括：

獲取人工智能芯片的芯片類型；

根據預設對應表中的第一對應關系，獲取所述芯片類型對應的模型標識信息，所述第一對應關系用于表征各個芯片類型與模型標識信息的對應關系；

在軟件開發工具包中查找得到所述模型標識信息所標識的模型，作為中間模型，所述軟件開發工具包中包括多種中間模型和多種框架工具，所述中間模型由預先訓練好的深度學習模型轉化得到；

根據所述預設對應表中的第二對應關系，獲取所述芯片類型對應的框架工具作為目標框架工具，所述第二對應關系用于表征各個芯片類型與框架工具的對應關系；

根據所述目標框架工具，將所述中間模型轉換為所述芯片類型對應的二進制文件；

根據所述二進制文件，將所述深度學習模型部署至所述人工智能芯片中；

所述根據所述二進制文件，將所述深度學習模型部署至所述人工智能芯片中，包括：

獲取所述人工智能芯片的應用邏輯，所述應用邏輯包括前處理、深度學習模型推理和后處理；

根據所述二進制文件和所述應用邏輯，編碼得到可執行文件；

根據所述可執行文件，將所述深度學習模型部署至所述人工智能芯片中；

所述方法還包括：

根據預設對應表，在所述軟件開發工具包中獲取與所述芯片類型對應的目標調度框架，所述軟件開發工具包括中包括有不同芯片類型對應的調度框架；

根據所述目標調度框架，調度所述人工智能芯片中的硬件以執行所述深度學習模型，所述硬件包括圖形處理器、現場可編程邏輯門陣列和專用集成電路中的至少一種；

獲取人工智能芯片的芯片類型，包括：

與承載所述人工智能芯片的設備進行遠程通信，發送信息獲取請求至所述設備以獲取所述人工智能芯片的芯片類型，所述芯片類型與芯片生產廠家對應。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

每間隔預設更新時間周期，對所述預設對應表進行更新。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取至少兩個預先訓練好的深度學習模型，其中，不同的深度學習模型基于不同的深度學習框架開發得到；

將所述至少兩個預先訓練好的深度學習模型轉換為所述中間模型；

將所述中間模型存儲到軟件開發工具包中。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述根據所述二進制文件，將所述深度學習模型部署至所述人工智能芯片中之后，所述方法還包括：

每間隔預設時間周期，確定部署至所述人工智能芯片的深度學習模型的準確度是否下降；

若所述準確度下降，則對所述深度學習模型進行更新。

5.根據權利要求4所述的方法，其特征在于，所述對所述深度學習模型進行更新，包括：

獲取所述人工智能芯片的遠程模型更新請求；

根據所述遠程模型更新請求，部署新的深度學習模型至所述人工智能芯片中。

6.根據權利要求5所述的方法，其特征在于，所述根據所述遠程模型更新請求，部署新的深度學習模型至所述人工智能芯片中，包括：

根據所述遠程模型更新請求，獲取訓練數據，所述訓練數據包括新增的樣本圖片；

根據所述訓練數據，訓練得到新的深度學習模型；

將所述新的深度學習模型通過空中下載技術部署至所述人工智能芯片中。

7.根據權利要求4所述的方法，其特征在于，所述確定部署至所述人工智能芯片的深度學習模型的準確度是否下降，包括：

接收用戶反饋的提示信息，根據所述提示信息確定所述深度學習模型的準確度是否下降。

8.根據權利要求4所述的方法，其特征在于，所述確定部署至所述人工智能芯片的深度學習模型的準確度是否下降，包括：

獲取樣本數據，所述樣本數據包括已標識的圖片、已標識的視頻中的至少一種；

獲取所述深度學習模型對所述樣本數據的預測結果；

根據所述預測結果，確定所述深度學習模型的準確度是否下降。