[發明專利]模型訓練監控方法、裝置、設備及存儲介質

在審

• 申請號: 202111095890.5
• 申請日: 2021-09-18
• 公開（公告）號: CN113780583A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 董萍
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

本發明涉及人工智能領域，公開了一種模型訓練監控方法、裝置、設備及存儲介質，該方法包括：接收模型訓練監控請求，并對模型訓練監控請求攜帶的意圖觸發話術文本進行解析并生成測試用例；對測試用例進行分詞處理得到測試用例字符，根據測試用例字符進行意圖識別，得到第一意圖；根據基礎話術意圖集對測試用例進行相關性分析，識別測試用例的第二意圖；將第一意圖和第二意圖進行比較，根據比較的結果生成測試報告。本發明實現了模型訓練監控的自動化，且提高了模型訓練監控的效率和準確度。此外，本發明還涉及區塊鏈領域，意圖觸發話術文本和基礎話術意圖集可存儲于區塊鏈中。

技術領域

本發明涉及人工智能領域，尤其涉及一種模型訓練監控方法、裝置、設備及存儲介質。

背景技術

模型是指通過主觀意識借助實體或者虛擬表現構成客觀闡述形態結構的一種表達目的的物件(物件并不等于物體，不局限于實體與虛擬、不限于平面與立體)。對研究的實體進行必要的簡化，并用適當的變現形式或規則把它的主要特征描述出來。所得到的系統模仿品稱之為模型。模型具有衰減性，模型運行結果數據的能力會隨著輸入數據的更新而降低，因此，需要對模型的性能及時進行監控以實現模型的維護和更新。

在現有技術中，通過開源的機器學習平臺訓練得到機器學習模型，機器學習平臺中設置有訓練模型的通用算法，因此只需在機器學習平臺上輸入訓練數據即可得到機器學習模型，而模型訓練的過程則是在機器學習平臺的內部自行執行的。但該方法不能時刻監控機器學習平臺訓練模型的過程，也不能及時獲取模型訓練的狀態，因此，當發現模型在訓練的過程中出現問題時，也不能及時進行矯正，導致模型訓練監控的效率低，同時使得訓練出的模型不準確。

發明內容

本發明的主要目的在于解決現有技術中模型訓練監控的效率低的技術問題。

本發明第一方面提供了一種模型訓練監控方法，所述模型訓練監控方法包括：獲取機器學習模型的訓練周期，對所述訓練周期進行分析，確定所述機器學習模型的訓練總步數，并根據所述機器學習模型的訓練總步數，確定固定訓練步數；將所述機器學習模型完成每個所述固定訓練步數的時間節點作為所述模型的檢查點；獲取所述機器學習模型在各所述檢查點所產生的指標數據；根據預設的各指標的指標監控策略，對所述指標數據中各指標進行異常監控，判斷所述指標數據中各指標是否異常，得到異常監控結果；根據所述異常監控結果生成模型訓練監控報告。

可選的，在本發明的第一方面的第一種實現方式中，所述根據預設的各指標的指標監控策略，對所述指標數據中各指標進行異常監控，判斷所述指標數據中各指標是否異常，得到異常監控結果包括：根據預設的樣本指標監控策略，對所述指標數據中的樣本指標進行異常監控，判斷所述樣本指標是否異常，得到異常監控結果；或者，根據預設的訓練時長指標監控策略，對所述指標數據中的訓練時長指標進行異常監控，判斷所述訓練時長指標是否異常，得到異常監控結果；或者，根據預設的數據指標監控策略，對所述指標數據中的數據指標進行異常監控，判斷所述數據指標是否異常，得到異常監控結果，其中，所述數據指標包括偏離值、資源數據量和可用的數據存儲空間的數據量。

可選的，在本發明的第一方面的第二種實現方式中，所述根據預設的樣本指標監控策略，對所述指標數據中的樣本指標進行異常監控，判斷所述樣本指標是否異常，得到異常監控結果包括：提取所述指標數據中的樣本指標及訓練樣本，并對所述訓練樣本進行等頻分箱處理，得到多個分箱；根據預設的樣本指標監控策略和根據所述樣本指標計算各所述分箱中樣本的模型穩定性分析值；判斷所述模型穩定性分析值是否小于預設的模型穩定性閾值；若是，則確定所述樣本指標異常，得到所述樣本指標對應的異常監控結果。

可選的，在本發明的第一方面的第三種實現方式中，所述根據預設的訓練時長指標監控策略，對所述指標數據中的訓練時長指標進行異常監控，判斷所述訓練時長指標是否異常，得到異常監控結果包括：提取所述指標數據中的時長訓練指標以及所述機器學習模型完成每個所述固定訓練步數時的訓練時長；根據預設的訓練時長指標監控策略，判斷所述訓練時長是否大于預設的訓練時長閾值；若是，則確定所述訓練時長指標異常，得到所述訓練時長指標對應的異常監控結果。