[發明專利]一種機器學習模型的部署與監控裝置和方法

在審

• 申請號: 201910072556.4
• 申請日: 2019-01-25
• 公開（公告）號: CN111488254A
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 陳東沂;姚小龍;鐘萍;郭林東;周江
• 申請（專利權）人: 順豐科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 趙奕

本發明涉及一種機器學習模型的部署與監控裝置，包括：一個或多個容器應用模塊，所述容器應用模塊里部署有WEB應用服務接口、機器學習模型代碼、python運行環境，配置用于將python應用程序的運行環境部署到容器應用中，通過基于flask的web應用框架向用戶端提供web接口服務，以Restful API的方式向用戶端提供web訪問服務；數據庫模塊，配置用于接收并存儲機器學習模型運行過程中的日志輸出；其中，所述容器應用模塊預配置有Python應用程序的運行環境，提高系統的效率，提高資源利用率。

技術領域

本發明涉及機器學習模型服務部署技術領域，尤其涉及一種機器學習模型的部署與監控裝置和方法。

背景技術

隨著大數據、人工智能等前沿熱點的發展，以及業務數據的積累，如何快速利用機器學習等分析挖掘技術發現數據資產的價值，讓數據決策指導商業運營，已經成為工業界共同思考、亟待解決的難題，各大企業積極探索機器學習、數據挖掘在業務運營提升方面的落地應用。

目前，業界不缺乏數據分析挖掘、機器學習的技術工具，第三方的面向分析挖掘的工具庫比比皆是(比如scikit-learn、TensorFlow、Pytorch等)，同時方法論知識也相對比較完善，這些技術工具往往偏重于數據的特征工程和算法模塊的實現，借助這些工具或方法論能快速實現數據的清洗處理、特征表示等環節，但這些僅僅是實驗預研或者想法驗證的步驟環節，并沒有形成用戶端到服務端的應用落地方案。

同時，在模型應用運行過程，整個模型如同黑盒子，模型服務運行狀態和表現效果難以監控不利于模型服務的可靠性評估，顯示出模型服務在可監控性上的局限。傳統的機器學習模型應用部署要經歷3個階段，包括：階段一、在物理機或虛擬機上安裝工具包和支撐環境，形成開發環境，階段二、在開發環境開發機器學習模型代碼，并測試，階段三、測試無誤要部署到線上系統，需要在線上系統準備相應的工具包和支撐環境，在整個過程中，環境部署成本很高。

因此，如何把機器學習的模型通過工程化的方式進行部署應用，同時提供對模型服務效果的運行監控，提供給企業信息系統在業務運營決策過程使用，是端到端模型落地方案的核心所在。

發明內容

針對機器學習模型應用落地的現狀和不足，提出了一種機器學習模型的部署與監控裝置和方法。

根據本發明的一個方面，提供了一種機器學習模型的部署與監控裝置，包括：

一個或多個容器應用模塊，所述容器應用模塊里部署有WEB應用服務接口、機器學習模型代碼、python運行環境，配置用于將python應用程序的運行環境部署到容器應用中，通過基于flask的web應用框架向用戶端提供web接口服務，以Restful AP I的方式向用戶端提供web訪問服務；

數據庫模塊，配置用于接收并存儲機器學習模型運行過程中的日志輸出；

其中，所述容器應用模塊預配置有Python應用程序的運行環境。

進一步的，還包括反向代理服務器，配置用于根據預設策略將用戶的web請求分發至不同容器應用模塊所提供的web接口服務，以實現用戶端對機器學習模型服務的請求訪問進行負載均衡。

進一步的，所述數據庫模塊，還配置用于將所述日志輸出發送至第三方監控終端對機器學習模型的運行狀態進行分析和監控。

進一步的，Python應用程序的運行環境基于Anaconda構建，用于引入和管理機器學習模型所需要軟件包及其依賴項。

進一步的，容器應用模塊，還配置用于通過基于flask的web應用框架將機器學習模型代碼封裝成具有Http協議的Restful接口函數，提供給外部通過URL方式訪問所述web接口服務。

根據本發明的另一個方面，提供了一種機器學習模型的部署與監控方法，其特征在于，包括：