[發明專利]評估模型解釋工具的方法和裝置

有效

• 申請號: 202010160591.4
• 申請日: 2020-03-10
• 公開（公告）號: CN111008898B
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 方軍鵬;唐才智
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06Q40/02
• 分類號: G06Q40/02;G06Q30/02;G06N3/04;G06N3/08
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 張靜娟;周良玉

1.一種評估模型解釋工具的方法，所述方法基于第一模型、及預先獲取的用于第一模型的多個第一訓練樣本和多個測試樣本進行，其中，每個所述第一訓練樣本包括業務對象的多個特征的特征值，所述方法包括：

從所述多個特征中選取n個特征作為n個選定特征，包括隨機選出n個選定特征和以預定規則選出n個選定特征；

將每個所述第一訓練樣本中除所述n個選定特征之外的特征的特征值替換為其它值，以獲取多個第二訓練樣本；

使用所述多個第二訓練樣本訓練所述第一模型，以獲取具有第一參數組的第一模型；

基于所述多個測試樣本獲取所述具有第一參數組的第一模型的第一性能值；

基于所述多個第二訓練樣本和所述第一參數組，通過模型解釋工具獲取所述多個特征的重要性排序；

將每個所述第二訓練樣本中除所述重要性排序的前n個特征之外的特征的特征值替換為相同的預定值，以獲取多個第三訓練樣本；

使用所述多個第三訓練樣本訓練所述第一模型，以獲取具有第二參數組的第一模型；

基于所述多個測試樣本獲取所述具有第二參數組的第一模型的第二性能值；

計算所述第一性能值與所述第二性能值的差異值，以用于評估所述模型解釋工具。

2.根據權利要求1所述的方法，其中，所述第一模型為非自解釋型模型。

3.根據權利要求1所述的方法，其中，將每個所述第一訓練樣本中除所述n個選定特征之外的特征的特征值替換為其它值包括，將每個所述第一訓練樣本中除所述n個選定特征之外的特征的特征值替換為隨機確定的其它值。

4.根據權利要求1所述的方法，其中，所述方法被執行多次以獲取多個差異值，其中，在對所述方法的每次執行中，所述n個選定特征與其它各次執行對應的各組n個選定特征具有不同的特征組合，其中，所述方法還包括，在獲取多個差異值之后，基于所述多個差異值計算平均差異值，以用于評估所述模型解釋工具。

5.根據權利要求1所述的方法，其中，所述第一模型為二分類模型，所述第一性能值和第二性能值與以下至少一項相關：準確率、精確率、召回率、F1值、AUC。

6.根據權利要求1所述的方法，其中，所述業務對象為網絡平臺中的以下一個或多個對象：用戶、商戶、商品、交易。

7.根據權利要求6所述的方法，其中，所述業務對象為平臺用戶，每個訓練樣本包括用戶的風險值作為標簽值，所述第一模型用于基于所述多個第一訓練樣本被訓練為風險控制模型。

8.一種評估模型解釋工具的方法，所述方法基于第一模型、及預先獲取的用于第一模型的多個第一訓練樣本和多個測試樣本進行，其中，每個所述第一訓練樣本包括業務對象的多個特征的特征值，所述方法包括：

使用所述多個第一訓練樣本訓練所述第一模型，以獲取具有第一參數組的第一模型；

基于所述多個測試樣本獲取所述具有第一參數組的第一模型的第一性能值；

基于所述多個第一訓練樣本和所述第一參數組，通過模型解釋工具獲取所述多個特征的重要性排序；

將各個所述第一訓練樣本中除所述重要性排序的前n個特征之外的特征的特征值替換為相同的預定值，以獲取多個第二訓練樣本；

使用所述多個第二訓練樣本訓練所述第一模型，以獲取具有第二參數組的第一模型；

基于所述多個測試樣本獲取所述具有第二參數組的第一模型的第二性能值；

計算所述第一性能值與所述第二性能值的差異值，以用于評估所述模型解釋工具。

9.根據權利要求8所述的方法，其中，所述第一模型為非自解釋型模型。

10.根據權利要求8所述的方法，其中，所述第一模型為二分類模型，所述第一性能值和第二性能值與以下至少一項相關：準確率、精確率、召回率、F1值、AUC。