[發(fā)明專利]一種模型效能的波動識別方法及裝置

在審

• 申請?zhí)枺?/td>: 202010169258.X
• 申請日: 2020-03-12
• 公開（公告）號: CN111414945A
• 公開（公告）日: 2020-07-14
• 發(fā)明（設計）人: 紀忠光
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司 11315
• 代理人: 張倩;朱文杰

1.一種模型效能的波動識別方法，包括：

獲取目標模型的訓練樣本數(shù)據(jù)和預測業(yè)務數(shù)據(jù)；

基于所述訓練樣本數(shù)據(jù)，對所述目標模型進行模型參數(shù)訓練，確定各預設數(shù)據(jù)特征對所述目標模型的重要性評價變量的變量數(shù)值；以及，

基于所述訓練樣本數(shù)據(jù)，對各預設數(shù)據(jù)特征的樣本標簽區(qū)分能力進行識別，確定所述預設數(shù)據(jù)特征對所述目標模型的預測能力影響變量的變量數(shù)值；以及，

基于所述預測業(yè)務數(shù)據(jù)和所述訓練樣本數(shù)據(jù)，對各預測數(shù)據(jù)特征的特征分布差異進行識別，確定各所述預設數(shù)據(jù)特征的穩(wěn)定性評價變量的變量數(shù)值；

根據(jù)所述預測能力影響變量的變量數(shù)值、所述重要性評價變量的變量數(shù)值、以及所述穩(wěn)定性評價變量的變量數(shù)值，確定所述目標模型的模型效能波動數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述訓練樣本數(shù)據(jù)，對所述目標模型進行模型參數(shù)訓練，確定各預設數(shù)據(jù)特征對所述目標模型的重要性評價變量的變量數(shù)值，包括：

基于所述訓練樣本數(shù)據(jù)，對所述目標模型進行模型參數(shù)訓練，確定各預設數(shù)據(jù)特征的模型訓練參與數(shù)據(jù)；

針對每個所述預設數(shù)據(jù)特征，根據(jù)所述模型訓練參與數(shù)據(jù)，確定該預設數(shù)據(jù)特征對所述目標模型的重要性評價變量的變量數(shù)值。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述訓練樣本數(shù)據(jù)，對各預設數(shù)據(jù)特征的樣本標簽區(qū)分能力進行識別，確定所述預設數(shù)據(jù)特征對所述目標模型的預測能力影響變量的變量數(shù)值，包括：

針對每個所述預設數(shù)據(jù)特征，基于所述訓練樣本數(shù)據(jù)，確定該預設數(shù)據(jù)特征的樣本分類貢獻數(shù)據(jù)，其中，所述樣本分類貢獻數(shù)據(jù)用于表征特征對黑樣本和白樣本的區(qū)分能力；

根據(jù)所述樣本分類識別貢獻數(shù)據(jù)，確定所述預設數(shù)據(jù)特征對所述目標模型的預測能力影響變量的變量數(shù)值。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述預測業(yè)務數(shù)據(jù)和所述訓練樣本數(shù)據(jù)，對各預測數(shù)據(jù)特征的特征分布差異進行識別，確定各所述預設數(shù)據(jù)特征的穩(wěn)定性評價變量的變量數(shù)值，包括：

針對每個所述預設數(shù)據(jù)特征，對該預設數(shù)據(jù)特征的特征值范圍進行等寬或等頻劃分處理，得到多個數(shù)據(jù)特征區(qū)間；

基于所述預測業(yè)務數(shù)據(jù)，確定各所述數(shù)據(jù)特征區(qū)間下的預測數(shù)據(jù)分布占比；

基于所述訓練樣本數(shù)據(jù)，確定各所述數(shù)據(jù)特征區(qū)間下的樣本數(shù)據(jù)分布占比；

根據(jù)各所述數(shù)據(jù)特征區(qū)間對應的所述預測數(shù)據(jù)分布占比和所述樣本數(shù)據(jù)分布占比，確定所述預設數(shù)據(jù)特征的穩(wěn)定性評價變量的變量數(shù)值。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述預測能力影響變量的變量數(shù)值、所述重要性評價變量的變量數(shù)值、以及所述穩(wěn)定性評價變量的變量數(shù)值，確定所述目標模型的模型效能波動數(shù)據(jù)，包括：

根據(jù)所述預測能力影響變量的變量數(shù)值、所述重要性評價變量的變量數(shù)值，確定所述預設數(shù)據(jù)特征的特征貢獻程度；

根據(jù)所述特征貢獻程度，確定所述預設數(shù)據(jù)特征對所述目標模型的模型效能變化影響的特征權(quán)重系數(shù)；

根據(jù)各所述預設數(shù)據(jù)特征的所述穩(wěn)定性評價變量的變量數(shù)值、以及對應的所述特征權(quán)重系數(shù)，確定所述目標模型的模型效能波動數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述根據(jù)所述特征貢獻程度，確定所述預設數(shù)據(jù)特征對所述目標模型的模型效能變化影響的特征權(quán)重系數(shù)，包括：

根據(jù)各所述預設數(shù)據(jù)特征的所述特征貢獻程度，確定多個所述預設數(shù)據(jù)特征的平均貢獻程度；

根據(jù)各所述預設數(shù)據(jù)特征的所述特征貢獻程度、以及所述平均貢獻程度，確定所述預設數(shù)據(jù)特征對所述目標模型的標準化貢獻程度；

根據(jù)所述標準化貢獻程度，確定所述預設數(shù)據(jù)特征對所述目標模型的模型效能變化影響的特征權(quán)重系數(shù)。

7.根據(jù)權(quán)利要求5所述的方法，其中，所述根據(jù)各所述預設數(shù)據(jù)特征的所述穩(wěn)定性評價變量的變量數(shù)值、以及對應的所述特征權(quán)重系數(shù)，確定所述目標模型的模型效能波動數(shù)據(jù)，包括：

基于所述特征權(quán)重系數(shù)，對各所述預設數(shù)據(jù)特征的所述穩(wěn)定性評價變量的變量數(shù)值進行加權(quán)求和，得到所述目標模型的模型效能波動數(shù)據(jù)。