[發明專利]機器學習模型的部署方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110751595.4
• 申請日: 2021-07-02
• 公開（公告）號: CN113344218A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 劉凱
• 申請（專利權）人: 百融云創科技股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 侯菲菲;劉鐵生

本申請提供一種機器學習模型的部署方法、裝置、電子設備及存儲介質，機器學習模型的部署方法包括：獲取線下訓練完成的特征工程和機器學習模型；將特征工程和機器學習模型整理為pipeline形式；將pipeline形式下的特征工程和機器學習模型存儲為proto文件；將proto文件部署到線上。通過將線下訓練好的特征工程和機器學習模型的pipeline基于protobuf存儲為proto文件，并將proto文件部署到線上，能夠采用表達能力更強的編程語言對特征工程和機器學習模型的pipeline進行描述，能夠支持更多的算子，確保線上線下模型預測的一致性。并且，不再依賴更多的工具庫，更加輕便，能夠支持大規模實時預測，以及減小模型文件的體積，避免占用過多的線上服務器的硬盤存儲空間。

技術領域

本申請涉及計算機技術領域，尤其涉及一種機器學習模型的部署方法、裝置、電子設備及存儲介質。

背景技術

隨著科技的不斷發展，機器學習模型已應用到生產生活的各個方面。機器學習模型主要包括兩個方面：線下建模和線上部署。線下建模，是在離線狀態下，通過對原始數據利用機器學習算法進行訓練，得到訓練好的機器學習模型。線上部署，是將訓練好的機器學習模型，部署在線上服務器，以便通過web服務的形式對模型進行調用來完成預測。

一般來說，線下建模的特征工程主要使用sklearn機器學習庫，模型主要使用xgboost庫、lightgbm庫等。這些線下使用的機器學習庫通常使用python語言。而企業內部的數據服務和模型服務通常是基于java等后端語言進行開發的。為了解決線下建模和線上部署面臨的跨語言問題，可以使用PMML語言作為媒介。具體來說，提取特征工程和模型學習到的參數，并寫入到PMML文件中。然后，將寫好的PMML文件搬運到線上環境，在線上加載并解析PMML文件，得到模型學習到的參數來進行預測。例如：使用第三方庫將機器學習模型保存為PMML-pipeline的文件，并部署在線上。然后，在線上加載該文件，并使用PMML的預測方法進行預測。

然而，PMML語言的表達能力有限，某些復雜的算法，例如復雜的自定義函數或程序中的控制流，很難通過PMML語言描述。也就是說，通過PMML語言無法完全對特征工程和模型中的復雜規則或步驟進行精準描述。即，PMML語言本身支持的算子不夠多，使得線下建模的一些算法無法正常部署到線上，進而影響模型的一致性，降低部署的模型的精度，降低模型的性能。并且，由于PMML語言是基于xml的一種標記語言，xml本身的冗余也會導致模型文件較大，在表述一些較大的模型信息時，會存在模型文件占用磁盤文件過多的情況。

發明內容

本申請實施例的目的是提供一種機器學習模型的部署方法、裝置、電子設備及存儲介質，能夠提高模型線上預測的性能，支持更多算法的線上部署，節省服務器的存儲空間。

為解決上述技術問題，本申請實施例提供如下技術方案：

本申請第一方面提供一種機器學習模型的部署方法，所述方法包括：獲取線下訓練完成的特征工程和機器學習模型；將所述特征工程和所述機器學習模型整理為pipeline形式；將pipeline形式下的特征工程和機器學習模型存儲為proto文件；將所述proto文件部署到線上。

本申請第二方面提供一種機器學習模型的部署裝置，所述裝置包括：存儲模塊，用于獲取線下訓練完成的特征工程和機器學習模型；將所述特征工程和所述機器學習模型整理為pipeline形式；將pipeline形式下的特征工程和機器學習模型存儲為proto文件；部署模塊，用于將所述proto文件部署到線上。

本申請第三方面提供一種電子設備，包括：處理器、存儲器、總線；其中，所述處理器、所述存儲器通過所述總線完成相互間的通信；所述處理器用于調用所述存儲器中的程序指令，以執行第一方面中的方法。

本申請第四方面提供一種計算機可讀存儲介質，包括：存儲的程序；其中，在所述程序運行時控制所述存儲介質所在設備執行第一方面中的方法。