[發明專利]機器學習模型與自定義算子的模板化部署方法

有效

• 申請號: 202010105170.1
• 申請日: 2020-02-20
• 公開（公告）號: CN111399853B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 何思佑
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F8/60
• 分類號: G06F8/60;G06N20/00
• 代理公司: 成都智言知識產權代理有限公司 51282
• 代理人: 濮云杉

本發明涉及機器學習模型與自定義算子的模板化部署方法，包括：包括：A.根據機器學習模型的預測過程設置通用模板；B.將用戶輸入的框架名稱和機器學習模型的模型名稱在配置文件中進行匹配，用配置文件中的相應字段替換通用模板中的替代符；C.根據通用模板生成可執行文件；D.在服務器中以容器的形式運行通用模板和用戶上傳的機器學習模型，將實例化后的機器學習模型加入到服務序列中；E.用戶進行HTTP請求時，根據用戶輸入的模型ID或自定義算子ID在服務序列中查找機器學習模型實例，并調用模型實例中的預測方法計算后返回結果。本發明能夠大幅度縮短機器學習模型的部署時間，顯著的降低了在部署環節中的人員開發成本和時間成本。

技術領域

本發明涉及機器學習模型與自定義算子的部署方法，具體講是機器學習模型與自定義算子的模板化部署方法。

背景技術

近年來，機器學習技術的應用十分廣泛，多個行業的技術也因此發生了變革，如金融風控技術、圖像識別技術、自動駕駛技術等。機器學習技術應用主要分為兩個步驟：(1)訓練模型：通過算法擬合數據，持久化一個可復用的模型；(2)部署模型：將模型部署為API(應用程序接口)供其他應用系統調用。前者主要被學術界深入研究，而后者在工業生產應用中是一個比較重要且復雜的環節。它的主要挑戰在于常用的技術框架繁多，如：Sklearn、H2O、pyspark、TensorFlow、Keras、Pytorch等，每個框架生成的模型都需要使用一套完全不同的環境依賴和方法來部署調用，并且多數應用不僅會用到模型，還會使用算子(自定義代碼)對輸入數據進行大量的轉化處理，這對模型部署的復雜邏輯處理能力要求較高。上述問題為模型的部署帶來了過多的開發工作，大量增加了時間和人力成本。

在現有技術中實現對機器學習模型部署的方法有：

(1)通過MLeap：MLeap(machine?learning?pipelines)是一種常用的序列化格式和執行引擎。它將可用的機器學習模型持久化為一個MLeap?Bundle格式的json文件，再使用Java語言統一運行環境，通過解析Json文件還原模型參數，規避運行環境和框架依賴的問題。

該方法的缺點是：MLeap?Bundle的定義并不標準且并不兼容所有模型，并且MLeap的原始目的是為了解決spark?MLlib和sciket-learn的模型相互轉化的問題，對其他框架的支持較弱。最大的缺點是沒有提供模型API(應用程序接口)快速發布的功能。

(2)通過KubeFlow：KubeFlow是基于Kubernetes的主流機器學習解決方案，它采用kubernetes+TensorFlow結合的方式，使用容器編排技術，一站式統一模型訓練的集群化管理，并通過seldon?core將模型部署為REST?API形式。

該方法的缺點是：作為全力支持Tensorflow模型的框架，對于模型部署，其包含了過多的冗余功能，較為“笨重”，如訓練步驟中的節點資源管理等。并且該框架的模型部署服務對自定義算子的支持十分薄弱，不能靈活組裝模型與代碼的pipeline。

上述現有方法實現對機器學習模型部署的步驟一般為：

1、使用原生框架實現模型訓練，并保存模型文件。

2、針對模型文件寫一個Web服務。

3、將服務打包放到Tomcat服務器中。

4、啟動Tomcat服務。

這種部署方法比較復雜，且當模型更新時需重復2、3、4步驟，耗時長且難以對模型服務進行集中管理。

在現有技術中，還包括有用于工作流的模板化開發部署與實例化。而工作流要應對的問題主要是集成大量的無關聯計算機程序，使其產生關聯，該現有技術與機器學習模型的部署屬于兩種不同的應用領域。

發明內容