[發明專利]評估模型性能的系統及方法

有效

• 申請號: 201710971628.X
• 申請日: 2017-10-18
• 公開（公告）號: CN109685089B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 謝慧霞
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00;G06Q10/10;H04L29/08
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 闞梓瑄;王衛忠

本申請公開一種評估模型性能的系統及方法。涉及計算機信息處理技術領域，所述系統包括：模型管理模塊，用于根據預定的模型注冊協議對所述模型進行注冊，并提供統一的模型調用接口；數據管理模塊，用于儲存模型數據，所述模型數據包括訓練數據與測試數據；以及性能評估模塊，用于通過所述模型調用接口獲取所述模型，并通過所述模型數據對所述模型進行性能評估。本申請公開的評估模型性能的系統及方法，能夠自動化對模型進行評估，減少人力投入，降低人力成本。

技術領域

本發明涉及計算機信息處理領域，具體而言，涉及一種評估模型性能的系統及方法。

背景技術

機器學習是人工智能的核心，一般情況下，機器學習通過機器內部對不同問題建立的不同數學模型實現其預測功能。機器學習的一般流程如下：設計模型、訓練模型、驗證模型、評估模型、更新模型/上線模型。模型性能評估是其中重要的一環，它指示訓練的模型的成功程度。如何實現模型性能評估可持續化，及時調整模型對應參數及算法是一項重要的任務。

現有模型性能評估測試的步驟如下：1、人工制定模型，選擇數據集；2、將數據集劃分為兩部分：訓練集與驗證集；3、使用訓練集對模型進行訓練；4、訓練完成后，使用驗證集對模型進行驗證；5、對模型在測試集上的性能進行評估。

現有技術的缺點如下：1、模型訓練和驗證由同一組人執行，存在性能數據造假的可能，數據可信度低；2、全程需人工參與，手動運行模型，當模型數量較多時，評估工作量巨大；3、評估開始后，無法預測評估完成時間，需人工檢測是否完成，存在延時可能性，不能及時獲取評估結果；4、當數據集或者算法更新時，需人工重新評估模型，不能主動重新評估，無法持續追蹤模型性能變化，監控變化趨勢，進行異常預警。

因此，需要一種新的評估模型性能的系統及方法。

在所述背景技術部分公開的上述信息僅用于加強對本發明的背景的理解，因此它可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

有鑒于此，本發明提供一種評估模型性能的系統及方法，能夠自動化對模型進行評估，減少人力投入，降低人力成本。

本發明的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本發明的實踐而習得。

根據本發明的一方面，提出一種評估模型性能的系統，該系統包括：模型管理模塊，用于根據預定的模型注冊協議對所述模型進行注冊，并提供統一的模型調用接口；數據管理模塊，用于儲存模型數據，所述模型數據包括訓練數據與測試數據；以及性能評估模塊，用于通過所述模型調用接口獲取所述模型，并通過所述模型數據對所述模型進行性能評估。

在本公開的一種示例性實施例中，還包括：規則設置模塊，用于儲存模型處理規則與告警規則，其中所述模型處理規則包括預定時間處理規則。

在本公開的一種示例性實施例中，還包括：推送任務模塊，用于執行推送任務，所述推送任務包括告警推送任務，評估報告任務。

在本公開的一種示例性實施例中，還包括：評估任務模塊，用于通過所述規則設置模塊的規則對所述模型的性能評估的結果進行分析處理，并在所述模型的評估結果滿足告警條件時，調用所述推送任務模型進行告警信息推送。

在本公開的一種示例性實施例中，所述模型管理模塊包括：模型發布子模塊，用于記錄所述模型的歷史信息與發布信息，在滿足預定條件時創建模型評估任務；以及模型接口子模塊，用于根據已儲存的模型的相關信息，提供已儲存的所述模型的模型調用接口。

在本公開的一種示例性實施例中，所述性能評估模塊包括：評估算法子模塊，用于提供模型的評估算法；以及模型評估子模塊，用于通過所述模型的評估算法對所述模型進行評估分析。

在本公開的一種示例性實施例中，所述訓練數據與所述測試數據為1:1關系，且來自同一批數據集。