[發(fā)明專利]數(shù)據(jù)源貢獻(xiàn)度的評估方法及其裝置、計算機設(shè)備

在審

• 申請?zhí)枺?/td>: 202010191807.3
• 申請日: 2020-03-18
• 公開（公告）號: CN111461341A
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計）人: 劉磊;楊耀;姜玉坤;焦瑜凈;侯寶劍
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京匯思誠業(yè)知識產(chǎn)權(quán)代理有限公司 11444
• 代理人: 馮偉

本說明書實施例公開了一種數(shù)據(jù)源貢獻(xiàn)度的評估方法及其裝置，包括：獲取機器學(xué)習(xí)模型，其中，機器學(xué)習(xí)模型由多個數(shù)據(jù)源的訓(xùn)練數(shù)據(jù)，對原始模型進(jìn)行訓(xùn)練后生成，訓(xùn)練數(shù)據(jù)具有多個數(shù)據(jù)特征。對機器學(xué)習(xí)模型的性能指標(biāo)進(jìn)行歸因分析，以確定每個數(shù)據(jù)源對機器學(xué)習(xí)模型的第一貢獻(xiàn)度。根據(jù)數(shù)據(jù)特征對性能指標(biāo)的貢獻(xiàn)度，確定每個數(shù)據(jù)源對機器學(xué)習(xí)模型的第二貢獻(xiàn)度。根據(jù)第一貢獻(xiàn)度和第二貢獻(xiàn)度，確定每個數(shù)據(jù)源的貢獻(xiàn)度。由此，在對數(shù)據(jù)源貢獻(xiàn)度進(jìn)行評估時，對機器學(xué)習(xí)模型的性能指標(biāo)進(jìn)行歸因分析，并結(jié)合數(shù)據(jù)源的數(shù)據(jù)特征對機器學(xué)習(xí)模型的貢獻(xiàn)度，確定每個數(shù)據(jù)源的貢獻(xiàn)度，從而能夠?qū)Ω鱾€數(shù)據(jù)源對機器學(xué)習(xí)模型的貢獻(xiàn)度進(jìn)行客觀、準(zhǔn)確地評估。

【技術(shù)領(lǐng)域】

本說明書涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)源貢獻(xiàn)度的評估方法及其裝置、計算機設(shè)備。

【背景技術(shù)】

機器學(xué)習(xí)技術(shù)是人工智能技術(shù)領(lǐng)域一項重要的技術(shù)，將采集到的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，對原始模型進(jìn)行訓(xùn)練。訓(xùn)練過程中，不斷對模型中的參數(shù)進(jìn)行調(diào)整和優(yōu)化，使得模型的輸入和輸出，與訓(xùn)練數(shù)據(jù)的吻合度越來預(yù)高，訓(xùn)練完成后即可得到機器學(xué)習(xí)模型。

在實際業(yè)務(wù)中，由于單個業(yè)務(wù)方能夠采集到的數(shù)據(jù)有限，為了讓機器學(xué)習(xí)模型滿足實際業(yè)務(wù)的需求，可以采用多方聯(lián)合訓(xùn)練的方式，即業(yè)務(wù)的各方作為數(shù)據(jù)源，共同提供訓(xùn)練數(shù)據(jù)，機器學(xué)習(xí)模型由多個數(shù)據(jù)源提供的訓(xùn)練數(shù)據(jù)訓(xùn)練生成。但是，由于每個數(shù)據(jù)源都提供了訓(xùn)練數(shù)據(jù)，不同數(shù)據(jù)源對于機器學(xué)習(xí)模型的貢獻(xiàn)情況不清楚，因此亟需一種數(shù)據(jù)源貢獻(xiàn)度的評估方法，來對數(shù)據(jù)源貢獻(xiàn)度進(jìn)行客觀、準(zhǔn)確地評估。

【發(fā)明內(nèi)容】

本說明書實施例旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

為此，本說明書實施例的第一個目的在于提出一種數(shù)據(jù)源貢獻(xiàn)度的評估方法，能夠?qū)Ω鱾€數(shù)據(jù)源對機器學(xué)習(xí)模型的貢獻(xiàn)度進(jìn)行客觀、準(zhǔn)確地評估。

本說明書實施例的第二個目的在于提出一種數(shù)據(jù)源貢獻(xiàn)度的評估裝置。

本說明書實施例的第三個目的在于提出一種計算機設(shè)備。

本說明書實施例的第四個目的在于提出一種非臨時性計算機可讀存儲介質(zhì)。

為達(dá)上述目的，本說明書實施例第一方面實施例提出了一種數(shù)據(jù)源貢獻(xiàn)度的評估方法，包括：獲取機器學(xué)習(xí)模型；其中，所述機器學(xué)習(xí)模型由多個數(shù)據(jù)源的訓(xùn)練數(shù)據(jù)，對原始模型進(jìn)行訓(xùn)練后生成，所述訓(xùn)練數(shù)據(jù)具有多個數(shù)據(jù)特征；對所述機器學(xué)習(xí)模型的性能指標(biāo)進(jìn)行歸因分析，以確定每個所述數(shù)據(jù)源對所述機器學(xué)習(xí)模型的第一貢獻(xiàn)度；根據(jù)所述數(shù)據(jù)特征對所述性能指標(biāo)的貢獻(xiàn)度，確定每個所述數(shù)據(jù)源對所述機器學(xué)習(xí)模型的第二貢獻(xiàn)度；以及根據(jù)所述第一貢獻(xiàn)度和所述第二貢獻(xiàn)度，確定每個所述數(shù)據(jù)源的貢獻(xiàn)度。

和現(xiàn)有技術(shù)相比，本說明書實施例在對數(shù)據(jù)源貢獻(xiàn)度進(jìn)行評估時，對機器學(xué)習(xí)模型的性能指標(biāo)進(jìn)行歸因分析，并結(jié)合數(shù)據(jù)源的數(shù)據(jù)特征對機器學(xué)習(xí)模型的貢獻(xiàn)度，確定每個數(shù)據(jù)源的貢獻(xiàn)度，從而能夠?qū)Ω鱾€數(shù)據(jù)源對機器學(xué)習(xí)模型的貢獻(xiàn)度進(jìn)行客觀、準(zhǔn)確地評估。

另外，本說明書實施例的數(shù)據(jù)源貢獻(xiàn)度的評估方法，還具有如下附加的技術(shù)特征：

可選地，所述對所述機器學(xué)習(xí)模型的性能指標(biāo)進(jìn)行歸因分析，以確定每個所述數(shù)據(jù)源對所述機器學(xué)習(xí)模型的第一貢獻(xiàn)度，包括：分別使用每個所述數(shù)據(jù)源的訓(xùn)練數(shù)據(jù)對所述原始模型進(jìn)行訓(xùn)練，以生成每個所述數(shù)據(jù)源對應(yīng)的模型；將多個所述數(shù)據(jù)源的訓(xùn)練數(shù)據(jù)進(jìn)行組合，以得到組合數(shù)據(jù)源；使用組合數(shù)據(jù)源的訓(xùn)練數(shù)據(jù)對所述原始模型進(jìn)行訓(xùn)練，以生成所述組合數(shù)據(jù)源對應(yīng)的模型；根據(jù)每個所述數(shù)據(jù)源對應(yīng)的模型的性能指標(biāo)，所述組合數(shù)據(jù)源對應(yīng)的模型的性能指標(biāo)，以及所述機器學(xué)習(xí)模型的性能指標(biāo)，確定每個所述數(shù)據(jù)源對所述機器學(xué)習(xí)模型的第一貢獻(xiàn)度。