[發明專利]模型部署方法、系統、芯片、電子設備及介質

在審

• 申請號: 202010064768.0
• 申請日: 2020-01-20
• 公開（公告）號: CN111178517A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 黃文豪;黃杰;楊忠程
• 申請（專利權）人: 上海依圖網絡科技有限公司
• 主分類號: G06N3/06
• 分類號: G06N3/06;G06N3/08;G06N20/00
• 代理公司: 上海市匯業律師事務所 31325
• 代理人: 唐嘉偉

模型部署方法、系統、芯片、電子設備及介質，方法為：獲得欲轉換的模型配置的訓練結果；對于訓練結果進行拆分；在數據庫中查找拆分后的結果，并轉換代碼；將轉換完成的模型代碼重新連接，得部署模型。本發明在得到指定任務類型和模型的輸入輸出形式后，輸入訓練數據和驗證數據，可自動訓練并在訓練時調整模型參數，同時通過調優算法對模型的超參數以及結構進行調整，最終迭代并選取到最優的模型。

技術領域

本發明涉及計算機數據處理系統和方法，具體地說是一種模型部署方法、系統、芯片、電子設備及介質。

背景技術

目前現有的人工智能（AI）研發系統的實質是提供軟件的數據庫，使用上需要用戶有一定編程背景；若要獲得好的計算模型，則需要用戶自己進行參數調整和選擇，因而還需有相關深度學習優化知識。同時，現有的人工智能（AI）研發系統一般只能支持單一用戶單一任務，而在多用戶情況下只能手動分配各種資源，計算資源利用率差。

而在人工智能（AI）研發系統中，現有的訓練工具一般只支持將在數據輸入后，單純地通過預設的模型進行訓練，在面對新任務的時候往往效果不佳。而若需對模型進行優化，則也需要有相關模型優化的知識，并且手動設計并編程實現優化——使得其用戶范圍較窄。而現有的其他自動模型優化算法，一般通過RNN等方法自動設計網絡模型，這種方法過程較慢、可并行性差，同時必須要大量數據；對于數據量中等、計算資源較小的情形缺并不適用。

此外，應用系統部署和運行在云平臺上來對外提供服務。目前在模型部署環節，針對部署的環境和目標格式，需要手動編寫轉換代碼進行轉換；并且不能驗證是否失敗，需要手動編寫測試腳本測試，十分繁瑣，切要耗費大量時間。

發明內容

本發明針對上述人工智能研發系統的不足，旨在提供一種適用于模型優化部署系統的模型部署方法、系統、電子設備及介質，以解決現有問題。

為了達到上述目的，本發明提供一種模型優化部署系統的模型部署方法，包括：

S1，獲得欲轉換的網絡模型的訓練結果；

S2，對于訓練結果進行拆分；

S3，在數據庫中查找拆分后的結果，并轉換代碼；

S4，將轉換完成的模型代碼重新連接，得部署模型。

在一些實施例中，還包括S5，以測試數據對欲轉換的網絡模型和欲部署硬件環境下的部署模型提取特征層，依次對應計算兩兩之間的給定向量距離；若其差小于預設的閾值，則認為結果對齊，并輸出可部署的模型作為轉換結果。

在一些實施例中，S2中，所述拆分按照訓練結果的網絡結構進行。

在一些實施例中，所述網絡結構為計算層或子結構。

在一些實施例中，S2中，若拆分時識別發現有數據庫中預設的結構，則保存該預設的結構；部署時則根據所保存的預設的結構選擇轉換方法。

在一些實施例中，S3中，所述查找以查表方式進行，以獲得代碼。

在一些實施例中，S3中，所述數據庫為硬件環境-計算框架的數據庫。

本發明還提供一種模型部署系統，包括：

數據預處理模塊，接受回流數據，然后輸出經過預處理的數據集；

模型訓練模塊，對數據集執行模型訓練方法，得到最優配置模型；

模型部署模塊，根據待部署的硬件環境對最優配置模型進行適配并轉換，最終跨平臺部署。

在一些實施例中，還包括數據標注模塊，對輔助進行數據標注。

在一些實施例中，還包括存儲模塊，執行整個系統數據的統一存儲。