[發明專利]機器學習模型部署方法及其裝置、設備、介質、產品在審

申請號：	202211185878.8	申請日：	2022-09-27
公開（公告）號：	CN115599396A	公開（公告）日：	2023-01-13
發明（設計）人：	林劍周	申請（專利權）人：	廣州華多網絡科技有限公司
主分類號：	G06F8/60	分類號：	G06F8/60;G06F8/61;G06F8/36;G06N20/00;G06N3/10
代理公司：	廣州利能知識產權代理事務所(普通合伙) 44673	代理人：	王增鑫
地址：	511442 廣東省廣***	國省代碼：	廣東;44
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	機器學習模型部署方法及其裝置設備介質產品
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本申請涉及一種機器學習模型部署方法及其裝置、設備、介質、產品，所述方法包括：獲取包含多個組件的機器學習模型的編排文件，所述編排文件包括部署所述機器學習模型的過程中的多個有序環節相對應的多個任務的描述信息；根據所述編排文件中各個有序環節的描述信息，有序生成相應的任務執行指令，響應各個任務執行指令而執行相應有序環節的部署任務，完成所述機器學習模型的各個組件在容器支持框架的部署；啟動所述機器學習模型相對應的代理服務，用于響應外部請求而調用所述容器支持框架中的機器學習模型，獲得相應的處理結果應答該外部請求。通過編排文件，可以實現多組件結構的機器學習模型的自動化和可配置化的快速部署，提升部署效率。

技術領域

本申請涉及網絡技術，尤其涉及一種機器學習模型部署方法及其裝置、設備、介質、產品。

背景技術

隨著機器學習模型的應用越來越廣，越來越復雜，模型的部署也從單一的模型升級到多個模型組件同時部署。傳統的單個模型分開部署，并通過后期接口組合的方式已經不能滿足快速的部署需求。

當前業界有比較多的方案都是基于Kubernetes的框架進行部署(例如Kubeflow和Seldon)，但是這些工具更多的是從模型部署本身出發，并沒有很好地和業務本身結合，不能實現對包含多個組件的機器學習模型的高效部署。這就導致了一個問題，當使用這些方案時，往往需要根據業務需求進行深度開發，而不能做到快速響應部署需求。

有鑒于此，需要為包含多組件的機器學習模型提供更為高效的部署手段，以便提升此類模型的部署成效。

發明內容

本申請的目的在于解決上述問題而提供一種機器學習模型部署方法及其相應的裝置、設備、非易失性可讀存儲介質，以及計算機程序產品。

根據本申請的一個方面，提供一種機器學習模型部署方法，包括如下步驟：

獲取包含多個組件的機器學習模型的編排文件，所述編排文件包括部署所述機器學習模型的過程中的多個有序環節相對應的多個任務的描述信息；

根據所述編排文件中各個有序環節的描述信息，有序生成相應的任務執行指令，響應各個任務執行指令而執行相應有序環節的部署任務，完成所述機器學習模型的各個組件在容器支持框架的部署；

啟動所述機器學習模型相對應的代理服務，用于響應外部請求而調用所述容器支持框架中的機器學習模型，獲得相應的處理結果應答該外部請求。

可選的，所述編排文件的描述信息，包括：

鏡像構建描述信息，用于描述所述機器學習模型運行時所需的程序資源信息，其中包括用于產生機器學習模型實例的代碼資源和用于支持該實例運行的引擎資源；

模型發布描述信息，用于描述所述機器學習模型的各個組件所需的容器的運行資源信息；

調用鏈描述信息，用于描述所述機器學習模型的每個組件相對于其他各個組件的依賴關系信息；

部署環境描述信息，用于描述所述機器學習模型在所述容器支持框架中的具有唯一性特征的部署環境信息。