[發明專利]一種模型性能評價方法、裝置、設備及存儲介質

有效

• 申請號: 202110347813.8
• 申請日: 2021-03-31
• 公開（公告）號: CN112989621B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 鄭曉華;陳青山;許國良;康祖蔭
• 申請（專利權）人: 建信金融科技有限責任公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06Q10/0639;G06F119/02
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種模型性能評價方法，其特征在于，包括：

獲取待評價的目標模型，所述目標模型的待評價因素以及與所述目標模型對應的模型數據；

根據所述待評價因素在預設評價指標集中確定待評價指標，并獲取各所述待評價指標對應的權重；

根據所述模型數據確定各所述待評價指標對應的指標得分，并根據各所述指標得分與對應的權重確定所述待評價因素對應的模型綜合評分；

所述目標模型為分類模型；

所述目標模型的待評價因素包括：樣本評價因素、特征評價因素、模型評價因素、前端監控評價因素和后端監控評價因素；

所述模型數據包括訓練集數據、測試集數據、線上評分集數據和線上運行集數據；

所述訓練集數據和所述測試集數據為模型未上線狀態時的數據，所述線上評分集數據和所述線上運行集數據為模型上線狀態時的數據；

所述訓練集數據包括特征數據、標簽數據和預測概率數據；所述測試集數據包括特征數據、標簽數據和預測概率數據；所述線上評分集數據包括特征數據和預測概率數據；所述線上運行集數據包括回流標簽數據；

所述根據所述待評價因素在預設評價指標集中確定待評價指標，包括：

若所述待評價因素為所述樣本評價因素，則所述待評價指標包括樣本數量、正負樣本占比、特征數量和特征缺失率；

若所述待評價因素為所述特征評價因素，則所述待評價指標包括單調特征占比、預測能力特征占比、穩定特征占比和弱相關性特征占比；

若所述待評價因素為所述模型評價因素，則所述待評價指標包括準確性評價指標、模型區分度評價指標、提升圖、模型穩定性評價指標和模型遷移率；

若所述待評價因素為所述前端監控評價因素，則所述待評價指標包括穩定特征占比和模型穩定性評價指標；

若所述待評價因素為所述后端監控評價因素，則所述待評價指標包括模型區分度評價指標和模型遷移率；

所述獲取各所述待評價指標對應的權重之前，還包括：

基于層次分析法確定所述預設評價指標集中各評價指標的層次總排序；

根據所述層次總排序確定各所述評價指標的權重；

所述基于層次分析法確定所述預設評價指標集中各評價指標的層次總排序，包括：

根據預設決策目標、預設決策準則和決策對象間的相互關系構造層次結構圖；其中，所述預設決策準則包括待評價因素，所述決策對象包括所述預設評價指標集中各評價指標；

根據所述層次結構圖中各層次中各元素間的重要性標度構造判斷矩陣；

對所述判斷矩陣進行一致性檢驗，并在檢驗成功時根據所述判斷矩陣對所述層次結構圖中各層次進行層次單排序；

根據各層次對應的層次單排序確定所述預設評價指標集中各評價指標的層次總排序。

2.根據權利要求1所述的方法，其特征在于，所述對所述判斷矩陣進行一致性檢驗，包括：

確定所述判斷矩陣的最大特征值和矩陣階數；

將所述最大特征值與所述矩陣階數的差確定為第一差值，將所述矩陣階數與一的差確定為第二差值，并將所述第一差值與所述第二差值的比值確定為所述判斷矩陣的一致性指標；

根據所述矩陣階數確定所述判斷矩陣的隨機一致性指標，并將所述一致性指標與對應隨機一致性指標的比值確定為一致性比率；

若所述一致性比率位于預設比率閾值范圍內，則確定一致性檢驗成功。

3.根據權利要求1所述的方法，其特征在于，所述根據各層次對應的層次單排序確定所述預設評價指標集中各評價指標的層次總排序，包括：

根據各層次對應的層次單排序確定所述預設評價指標集中各評價指標相對于所述預設決策目標相對重要性的排序權值；

根據所述排序權值確定各所述評價指標進行排序后的層次總排序；

其中，所述排序由所述層次結構圖中的最高層向最底層依次進行。

4.根據權利要求1所述的方法，其特征在于，所述根據各層次對應的層次單排序確定所述預設評價指標集中各評價指標的層次總排序之后，還包括：

對所述層次總排序進行一致性檢驗，并將檢驗成功的層次總排序確定為各所述評價指標的層次總排序。

5.根據權利要求1所述的方法，其特征在于，所述準確性評價指標包括準確率、精確率、召回率、誤傷率和F1分數中的至少一種。