[發明專利]一種機器學習模型生命周期管理系統及方法

在審

• 申請號: 202010115125.4
• 申請日: 2020-02-25
• 公開（公告）號: CN111309378A
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 陳波;左御丁;史特;孫孟凡
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F8/71
• 分類號: G06F8/71
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 陳選中

本發明公開了一種機器學習模型生命周期管理系統及方法，以減少重復性工作、系統性的管理模型、實現模型的快速上線迭代為目的，通過將機器學習模型生命周期服務模塊化，實現從模型創建到模型部署的無縫銜接，保證模型服務的使用，以及操作方便快捷。

技術領域

本發明屬于機器學習模型管理技術領域，具體涉及一種機器學習模型生命周期管理系統及方法。

背景技術

人工智能的發展成果在金融得到了廣泛的推崇和應用，模型服務在各個業務領域發揮著日益重要的作用，目前模型服務開發缺乏統一的系統管理，開發人員在模型生命周期各階段作者零碎的工作，投入了大量的人力和物力，然而隨著應用規模的擴大和復雜程度加深，模型的開發、管理、運行監控等仍然存在一定的缺陷：

1)訓練數據需要手工完成：由于缺乏統一的特征管理平臺，目前訓練需要的原始數據仍需要算法工程師自行收集、整理和清洗；

2)不少模型上線過程繁瑣：重復性工作較多，工作效率低；

3)實時服務模型的開發周期長；

4)適應多種開發語言難：不同的工程師們可能采用不同的開發語言，使得彼此溝通受阻；

5)數據沒有系統化管理：目前工程師們訓練所需要的數據大多數都是靠自己收集與調用，面臨如何存儲和再利用的問題，當數據量變得巨大時，數據操作變得困難。

現階段的模型服務開發流程大致為模型生成、模型執行、模型優化和模型部署四個階段，算法工程師需要從數據預處理開始，到流程中每一個階段都要自行調試、整理，過程繁瑣、重復性工作多，使得開發效率低下。

發明內容

針對現有技術中的上述不足，本發明提供的一種機器學習模型生命周期管理系統及方法解決了現有的機器學習模型生命周期管理過程中重復性工作多、模型開發缺乏系統管理和數據存儲和管理困難的問題。

為了達到上述發明目的，本發明采用的技術方案為：一種機器學習模型生命周期管理系統，包括依次連接的模板庫模塊、訓練模型模塊和上線模塊；

所述模板庫模塊用于實現模板導入、模板新建、模板修改、模板刪除和模板搜索；

所述訓練模型模塊用于實現導入模型、從模板庫新建模型、模型傳參運行、導出模型、修改模型和上線模型；

所述上線模塊用于實現模型運行、模型刪除和模型搜索。

進一步地，所述機器學習模型生命周期管理系統用于對機器學習模型進行生命周期管理；

所述機器學習模型對應于Zepplin中的note，且所述機器學習模型的代碼存儲于每個paragraph的text屬性中；

所述Zeppelin中的一個Note包含至少一個paragraph，所述Paragraph為Zepplin中的最小運行單元，且每個所述paragraph為一個代碼段；

所述Zeppelin單獨運行一個paragraph或運行對應的整個note，且當運行note時，note中的paragraph按順序運行，并繼承上下文關系。

一種機器學習模型生命周期管理方法，包括以下步驟：

S1、模型生成：通過模板庫模塊調用封裝好的數據預處理方法、特征工程方法和模式結構，構造對應的基礎機器學習模型；

S2、模型執行：通過訓練模型模塊選擇模板庫模塊中存儲的方法構成代碼塊或編輯修改新的功能代碼，將基礎機器學習模型形成可執行的機器學習模型，并通過訓練模型模塊傳參運行機器學習模型；