[發(fā)明專利]數(shù)據(jù)源貢獻度的評估方法及其裝置、計算機設備

在審

• 申請?zhí)枺?/td>: 202010191807.3
• 申請日: 2020-03-18
• 公開（公告）號: CN111461341A
• 公開（公告）日: 2020-07-28
• 發(fā)明（設計）人: 劉磊;楊耀;姜玉坤;焦瑜凈;侯寶劍
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京匯思誠業(yè)知識產(chǎn)權代理有限公司 11444
• 代理人: 馮偉

1.一種數(shù)據(jù)源貢獻度的評估方法，包括：

獲取機器學習模型；其中，所述機器學習模型由多個數(shù)據(jù)源的訓練數(shù)據(jù)，對原始模型進行訓練后生成，所述訓練數(shù)據(jù)具有多個數(shù)據(jù)特征；

對所述機器學習模型的性能指標進行歸因分析，以確定每個所述數(shù)據(jù)源對所述機器學習模型的第一貢獻度；

根據(jù)所述數(shù)據(jù)特征對所述性能指標的貢獻度，確定每個所述數(shù)據(jù)源對所述機器學習模型的第二貢獻度；以及

根據(jù)所述第一貢獻度和所述第二貢獻度，確定每個所述數(shù)據(jù)源的貢獻度。

2.如權利要求1所述的評估方法，其中，所述對所述機器學習模型的性能指標進行歸因分析，以確定每個所述數(shù)據(jù)源對所述機器學習模型的第一貢獻度，包括：

分別使用每個所述數(shù)據(jù)源的訓練數(shù)據(jù)對所述原始模型進行訓練，以生成每個所述數(shù)據(jù)源對應的模型；

將多個所述數(shù)據(jù)源的訓練數(shù)據(jù)進行組合，以得到組合數(shù)據(jù)源；

使用組合數(shù)據(jù)源的訓練數(shù)據(jù)對所述原始模型進行訓練，以生成所述組合數(shù)據(jù)源對應的模型；

根據(jù)每個所述數(shù)據(jù)源對應的模型的性能指標，所述組合數(shù)據(jù)源對應的模型的性能指標，以及所述機器學習模型的性能指標，確定每個所述數(shù)據(jù)源對所述機器學習模型的第一貢獻度。

3.如權利要求2所述的評估方法，其中，所述根據(jù)每個所述數(shù)據(jù)源對應的模型的性能指標，所述組合數(shù)據(jù)源對應的模型的性能指標，以及所述機器學習模型的性能指標，確定每個所述數(shù)據(jù)源對所述機器學習模型的第一貢獻度，包括：

將每個所述數(shù)據(jù)源對應的模型的性能指標，所述組合數(shù)據(jù)源對應的模型的性能指標，以及所述機器學習模型的性能指標列入夏普里值中；

使用夏普里值歸因算法，對所述機器學習模型的性能指標進行拆解，以確定每個所述數(shù)據(jù)源對所述機器學習模型的第一貢獻度。

4.如權利要求1所述的評估方法，其中，所述根據(jù)所述數(shù)據(jù)特征對所述性能指標的貢獻度，確定所述每個所述數(shù)據(jù)源對所述機器學習模型的第二貢獻度，包括：

確定單個數(shù)據(jù)特征對所述機器學習模型處理對應訓練數(shù)據(jù)的貢獻度；其中，所述單個數(shù)據(jù)特征為所述對應訓練數(shù)據(jù)的一個數(shù)據(jù)特征；

確定單個所述數(shù)據(jù)源對所述機器學習模型處理所述對應訓練數(shù)據(jù)的貢獻度；

確定單個所述數(shù)據(jù)源對所述機器學習模型的第二貢獻度。

5.如權利要求4所述的評估方法，其中，所述確定單個數(shù)據(jù)特征對所述機器學習模型處理對應訓練數(shù)據(jù)的貢獻度，包括：

對所述單個數(shù)據(jù)特征進行變更；

將變更后的所述對應訓練數(shù)據(jù)輸入所述機器學習模型；

根據(jù)所述機器學習模型的輸出，確定所述單個數(shù)據(jù)特征對所述機器學習模型處理所述對應訓練數(shù)據(jù)的貢獻度。

6.如權利要求5所述的評估方法，其中，所述根據(jù)所述機器學習模型的輸出，確定所述單個數(shù)據(jù)特征對所述機器學習模型處理所述對應訓練數(shù)據(jù)的貢獻度，包括：

根據(jù)所述單個數(shù)據(jù)特征的變化值和所述機器學習模型的輸出的變化值，確定所述單個數(shù)據(jù)特征對所述機器學習模型處理所述對應訓練數(shù)據(jù)的貢獻度。

7.一種數(shù)據(jù)源貢獻度的評估裝置，包括：

獲取模塊，用于獲取機器學習模型；其中，所述機器學習模型由多個數(shù)據(jù)源的訓練數(shù)據(jù)，對原始模型進行訓練后生成，所述訓練數(shù)據(jù)具有多個數(shù)據(jù)特征；

分析模塊，用于對所述機器學習模型的性能指標進行歸因分析，以確定每個所述數(shù)據(jù)源對所述機器學習模型的第一貢獻度；

第一確定模塊，用于根據(jù)所述數(shù)據(jù)特征對所述性能指標的貢獻度，確定所述每個所述數(shù)據(jù)源對所述機器學習模型的第二貢獻度；以及

第二確定模塊，用于根據(jù)所述第一貢獻度和所述第二貢獻度，確定每個所述數(shù)據(jù)源的貢獻度。