[發明專利]模型部署方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210089696.4
• 申請日: 2022-01-25
• 公開（公告）號: CN114546425A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 林建明;廖立普;杜亞威;易小華;徐磊
• 申請（專利權）人: 深圳無域科技技術有限公司
• 主分類號: G06F8/61
• 分類號: G06F8/61;G06K9/62;G06N20/00;G06F16/11
• 代理公司: 深圳智匯遠見知識產權代理有限公司 44481
• 代理人: 聶磊

1.一種模型部署方法，其特征在于，所述方法包括：

確定待部署模型，獲取所述待部署模型對應的源代碼文件，以及確定所述待部署模型所需的資源及運行環境；

根據所述源代碼文件、所述資源以及所述運行環境，生成待部署模型對應的模型數據，所述模型數據包括模型文件、輸入格式、預測代碼；

將所述模型文件進行格式轉換，并基于格式轉換后的所述模型文件、所述輸入格式、所述預測代碼構建模型鏡像；

基于Kubernetes將所述模型鏡像部署為服務。

2.根據權利要求1所述的方法，其特征在于，所述確定待部署模型，包括：

在監測到用戶針對notebook創建按鈕的預設操作觸發的情況下，創建notebook，以及確定相應的資源；

在監測到用戶針對所述notebook的預設操作觸發的情況下，記錄所述用戶在所述notebook中輸入的AI模型對應的源代碼文件；

確定所述AI模型為待部署模型。

3.根據權利要求1所述的方法，其特征在于，所述獲取所述待部署模型對應的源代碼文件，包括：

獲取所述待部署模型對應的第一格式的源代碼文件，或者，獲取所述待部署模型對應的第二格式的源代碼文件。

4.根據權利要求1所述的方法，其特征在于，所述根據所述源代碼文件、所述資源以及所述運行環境，生成待部署模型對應的模型數據，包括：

在監測到用戶針對部署按鈕的預設操作觸發的情況下，調用所述資源解析所述源代碼文件以及所述運行環境，生成待部署模型對應的模型數據。

5.根據權利要求1所述的方法，其特征在于，所述基于Kubernetes將所述模型鏡像部署為服務之后，所述方法還包括：

獲取測試數據，并將所述測試數據輸入至所述服務，獲取所述服務的預測結果；

將所述預測結果與所述測試數據對應的預期結果進行比較，若所述預測結果與所述預期結果一致，則確定所述服務正常。

6.根據權利要求1所述的方法，其特征在于，所述基于Kubernetes將所述模型鏡像部署為服務之后，所述方法還包括：

獲取所述服務的性能指標，其中，所述性能指標至少包括下述之一：調用量、調用耗時、失敗率、資源占用狀況；

將所述性能指標與標準性能指標進行比較，根據比較結果確定所述服務是否異常。

7.根據權利要求1所述的方法，其特征在于，所述基于Kubernetes將所述模型鏡像部署為服務之后，所述方法還包括：

獲取所述服務輸出的預測結果，對所述服務輸出的預測結果進行分析，并將所述服務輸出的預測結果與所述服務輸出的歷史預測結果進行對比分析；

若分析出所述服務的準確率未達到預期準確率，則確定所述準確率對應的偏差等級；

查找與所述偏差等級對應的用戶提醒方式，利用所述用戶提醒方式提醒進行模型迭代，并跳轉至所述獲取所述待部署模型對應的源代碼文件的步驟。

8.一種模型部署裝置，其特征在于，所述裝置包括：

模型確定模塊，用于確定待部署模型；

文件獲取模塊，用于獲取所述待部署模型對應的源代碼文件；

資源、環境確定模塊，用于確定所述待部署模型所需的資源及運行環境；

數據生成模塊，用于根據所述源代碼文件、所述資源以及所述運行環境，生成待部署模型對應的模型數據，所述模型數據包括模型文件、輸入格式、預測代碼；

鏡像構建模塊，用于將所述模型文件進行格式轉換，并基于格式轉換后的所述模型文件、所述輸入格式、所述預測代碼構建模型鏡像；

鏡像部署模塊，用于基于Kubernetes將所述模型鏡像部署為服務。

9.一種電子設備，其特征在于，包括處理器、通信接口、存儲器和通信總線，其中，處理器，通信接口，存儲器通過通信總線完成相互間的通信；

存儲器，用于存放計算機程序；

處理器，用于執行存儲器上所存放的程序時，實現權利要求1至7中任一項所述的方法步驟。

10.一種存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1至7中任一項所述的方法。