[發明專利]多分類模型自學習在線更新方法、系統及裝置

在審

• 申請號: 202010922752.9
• 申請日: 2020-09-04
• 公開（公告）號: CN112036579A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 李弦;阮曉雯;徐亮
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 袁文婷;張娓娓

本發明涉及人工智能，提供一種多分類模型自學習在線更新方法，包括：根據預設統計周期對待更新模型的預測性能進行監測統計，并將各統計周期內的預測性能統計結果存入統計數據庫；使用預設的觸發機制對所述統計數據庫內的數據進行檢查，以判斷所述待更新模型是否需要進行在線更新；若所述待更新模型需要進行在線更新，則獲取線上新產生數據，并根據所述新產生數據對待更新模型的訓練數據進行更新；使用更新后訓練數據對所述待更新模型進行更新訓練，以獲得更新后的多分類模型。本發明還涉及區塊鏈技術，統計數據庫存儲于區塊鏈中。本發明提供技術方案既能夠解決現有的多分類模型隨時時間的推移，預測精度顯著降低，且不能實現自動更新的問題。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種多分類模型自學習在線更新方法、系統、裝置及存儲介質。

背景技術

在人工智能技術領域，機器學習模型是常見使用手段，比如多分類模型，用于對待測數據進行分類，實現數據分類自動化，提高分類效率。然而，對于機器學習模型(尤其是多分類模型)，其預測性能主要取決于對訓練樣本數據的挖掘，訓練數據樣本對實際數據的模擬性越強，則模型的預測性能越強。

然而，當訓練好的模型部署上線后，如果線上待預測數據分布或模式隨時間變化，出現較多訓練數據未覆蓋的模式時，模型的預測精度將大幅下降。如政府公文分類模型，待預測的公文內容會隨當前時事或政策變化。因此，需要利用新獲取的標注數據對受時效影響的模型進行更新。如果采用人工進行更新，則需要技術人員跟蹤模型性能，持續反復訓練模型并進行部署上線，勢必會耗費較大人力。

目前現有的機器學習模型自動更新方法較少，尤其是對于多分類模型，還不能實現其自動更新，主要問題為缺少對多分類模型更新的觸發機制、訓練數據的選擇以及模型更新等具體技術方案的設定，因此不能實現多分類模型的自動更新。

基于以上問題，亟需一種能夠實現多分類模型自動更新的方法。

發明內容

本發明提供一種多分類模型自學習在線更新方法、系統、電子裝置以及計算機存儲介質，其主要目的在于解決現有的多分類模型隨時時間的推移，預測精度顯著降低，且不能實現自動更新的問題。

為實現上述目的，本發明提供一種多分類模型自學習在線更新方法，該方法包括如下步驟：

根據預設統計周期對待更新模型的預測性能進行監測統計，并將各統計周期內的預測性能統計結果存入統計數據庫；

使用預設的觸發機制對所述統計數據庫內的數據進行檢查，以判斷所述待更新模型是否需要進行在線更新；

若所述待更新模型需要進行在線更新，則獲取線上新產生數據，并根據所述新產生數據對待更新模型的訓練數據進行更新；

使用更新后訓練數據對所述待更新模型進行更新訓練，以獲得更新后的多分類模型。

優選地，所述統計數據庫存儲在區塊鏈中，并且所述預測性能包括預測精度precision值，所述預測精度precision值的計算公式為：

預測精度Precision值＝正確分類的樣本數/整體的樣本數；并且，

所述觸發機制包括：

機制A：若包含當前統計周期在內的歷史N個統計周期的預測精度precision值持續下降，則判定所述待更新模型需要進行在線更新，其中，N為第一預設參數。

另外，本發明還提供一種多分類模型自學習在線更新系統，所述系統包括：

性能監測單元，用于根據預設統計周期對待更新模型的預測性能進行監測統計，并將各統計周期內的預測性能統計結果存入統計數據庫；

機制觸發單元，用于使用預設的觸發機制對所述統計數據庫內的數據進行檢查，以判斷所述待更新模型是否需要進行在線更新；