[發明專利]模型訓練監控方法、裝置、設備及存儲介質

在審

• 申請號: 202111095890.5
• 申請日: 2021-09-18
• 公開（公告）號: CN113780583A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 董萍
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

1.一種模型訓練監控方法，其特征在于，所述模型訓練監控方法包括：

獲取機器學習模型的訓練周期，對所述訓練周期進行分析，確定所述機器學習模型的訓練總步數，并根據所述機器學習模型的訓練總步數，確定固定訓練步數；

將所述機器學習模型完成每個所述固定訓練步數的時間節點作為所述模型的檢查點；

獲取所述機器學習模型在各所述檢查點所產生的指標數據；

根據預設的各指標的指標監控策略，對所述指標數據中各指標進行異常監控，判斷所述指標數據中各指標是否異常，得到異常監控結果；

根據所述異常監控結果生成模型訓練監控報告。

2.根據權利要求1所述的模型訓練監控方法，其特征在于，所述根據預設的各指標的指標監控策略，對所述指標數據中各指標進行異常監控，判斷所述指標數據中各指標是否異常，得到異常監控結果包括：

根據預設的樣本指標監控策略，對所述指標數據中的樣本指標進行異常監控，判斷所述樣本指標是否異常，得到異常監控結果；

或者，根據預設的訓練時長指標監控策略，對所述指標數據中的訓練時長指標進行異常監控，判斷所述訓練時長指標是否異常，得到異常監控結果；

或者，根據預設的數據指標監控策略，對所述指標數據中的數據指標進行異常監控，判斷所述數據指標是否異常，得到異常監控結果，其中，所述數據指標包括偏離值、資源數據量和可用的數據存儲空間的數據量。

3.根據權利要求2所述的模型訓練監控方法，其特征在于，所述根據預設的樣本指標監控策略，對所述指標數據中的樣本指標進行異常監控，判斷所述樣本指標是否異常，得到異常監控結果包括：

提取所述指標數據中的樣本指標及訓練樣本，并對所述訓練樣本進行等頻分箱處理，得到多個分箱；

根據預設的樣本指標監控策略和根據所述樣本指標計算各所述分箱中樣本的模型穩定性分析值；

判斷所述模型穩定性分析值是否小于預設的模型穩定性閾值；

若是，則確定所述樣本指標異常，得到所述樣本指標對應的異常監控結果。

4.根據權利要求3所述的模型訓練監控方法，其特征在于，所述根據預設的訓練時長指標監控策略，對所述指標數據中的訓練時長指標進行異常監控，判斷所述訓練時長指標是否異常，得到異常監控結果包括：

提取所述指標數據中的時長訓練指標以及所述機器學習模型完成每個所述固定訓練步數時的訓練時長；

根據預設的訓練時長指標監控策略，判斷所述訓練時長是否大于預設的訓練時長閾值；

若是，則確定所述訓練時長指標異常，得到所述訓練時長指標對應的異常監控結果。

5.根據權利要求2-4中任一項所述的模型訓練監控方法，其特征在于，所述根據預設的數據指標監控策略，對所述指標數據中的數據指標進行異常監控，判斷所述數據指標是否異常，得到異常監控結果包括：

提取所述指標數據中的數據指標以及所述機器學習模型的損失函數的損失值；

計算所述損失值的均值和標準差；

獲取所述機器學習模型的當前損失值，將所述機器學習模型的當前損失值與所述均值的差值作為偏離值；

根據預設的數據指標監控策略，判斷所述偏離值與所述標準差的倍數是否超過預設倍數；

若是，則確定所述數據指標異常，得到所述數據指標對應的異常監控結果。

6.根據權利要求2-4中任一項所述的模型訓練監控方法，其特征在于，所述根據預設的數據指標監控策略，對所述指標數據中的數據指標進行異常監控，判斷所述數據指標是否異常，得到異常監控結果包括：

提取所述指標數據中的數據指標以及所述機器學習模型在所述檢查點中占用的資源數據量；

根據預設的數據指標監控策略，判斷所述資源數據量是否大于預設的占用數據量閾值；

若是，則確定所述數據指標異常，得到所述數據指標對應的異常監控結果。