[發(fā)明專利]數(shù)據(jù)價(jià)值評(píng)估方法、終端、裝置及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910919193.3
• 申請(qǐng)日: 2019-09-26
• 公開（公告）號(hào): CN110674994A
• 公開（公告）日: 2020-01-10
• 發(fā)明（設(shè)計(jì)）人: 陳瑞欽;黃啟軍;林冰垠;李詩(shī)琦;唐興興
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號(hào): G06Q10/04
• 分類號(hào): G06Q10/04;G06F16/28;G06F16/35
• 代理公司: 44287 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所
• 代理人: 王韜

本發(fā)明公開了一種數(shù)據(jù)價(jià)值評(píng)估方法，包括以下步驟：基于所述特征數(shù)據(jù)集以及預(yù)測(cè)模型生成所述特征數(shù)據(jù)集對(duì)應(yīng)的預(yù)測(cè)目標(biāo)數(shù)據(jù)集，而后基于所述原始目標(biāo)數(shù)據(jù)集以及所述預(yù)測(cè)目標(biāo)數(shù)據(jù)集，確定所述特征數(shù)據(jù)集中的異常數(shù)據(jù)以及所述異常數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)價(jià)值，接下來基于所述異常數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)價(jià)值以及預(yù)設(shè)價(jià)值，確定所述待評(píng)估樣本集的評(píng)估結(jié)果。本發(fā)明還公開了一種裝置、終端及可讀存儲(chǔ)介質(zhì)。通過確定待評(píng)估樣本集中的異常數(shù)據(jù)，并計(jì)算異常數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)價(jià)值，進(jìn)而確定待評(píng)估樣本集對(duì)應(yīng)的平均價(jià)值，實(shí)現(xiàn)了對(duì)待評(píng)估樣本集的價(jià)值評(píng)估。

技術(shù)領(lǐng)域

本發(fā)明涉及終端技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)價(jià)值評(píng)估方法、終端、裝置及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

當(dāng)前越來越多的領(lǐng)域開始使用機(jī)器學(xué)習(xí)技術(shù)，機(jī)器學(xué)習(xí)模型的準(zhǔn)確性和魯棒性至關(guān)重要，這需要大量?jī)?yōu)質(zhì)數(shù)據(jù)集進(jìn)行訓(xùn)練。

機(jī)器學(xué)習(xí)模型依賴數(shù)據(jù)訓(xùn)練而成，優(yōu)質(zhì)的數(shù)據(jù)是保證模型訓(xùn)練成功最重要的基礎(chǔ)。模型生成之后仍需要不斷地更新以提升模型性能，這也依賴于大量?jī)?yōu)質(zhì)訓(xùn)練數(shù)據(jù)的輸入。尤其是通過第三方提供的訓(xùn)練數(shù)據(jù)集對(duì)模型進(jìn)行更新訓(xùn)練，如果訓(xùn)練數(shù)據(jù)集質(zhì)量不高，會(huì)導(dǎo)致模型的準(zhǔn)確性降低，魯棒性減弱。目前，對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行價(jià)值評(píng)估沒有統(tǒng)一的標(biāo)準(zhǔn)或方法。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種數(shù)據(jù)價(jià)值評(píng)估方法、終端、裝置及可讀存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有因訓(xùn)練數(shù)據(jù)集質(zhì)量不高，在利用訓(xùn)練數(shù)據(jù)集訓(xùn)練模型后，導(dǎo)致模型的準(zhǔn)確性降低，魯棒性減弱的技術(shù)問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種數(shù)據(jù)價(jià)值評(píng)估方法，所述的數(shù)據(jù)價(jià)值評(píng)估方法包括以下步驟：

基于所述特征數(shù)據(jù)集以及預(yù)測(cè)模型生成所述特征數(shù)據(jù)集對(duì)應(yīng)的預(yù)測(cè)目標(biāo)數(shù)據(jù)集；

基于所述原始目標(biāo)數(shù)據(jù)集以及所述預(yù)測(cè)目標(biāo)數(shù)據(jù)集，確定所述特征數(shù)據(jù)集中的異常數(shù)據(jù)以及所述異常數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)價(jià)值；

基于所述異常數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)價(jià)值以及預(yù)設(shè)價(jià)值，確定所述待評(píng)估樣本集的評(píng)估結(jié)果。

進(jìn)一步地，在一實(shí)施方式中，所述特征數(shù)據(jù)集包括多個(gè)子數(shù)據(jù)，所述基于所述原始目標(biāo)數(shù)據(jù)集以及所述預(yù)測(cè)目標(biāo)數(shù)據(jù)集，確定所述特征數(shù)據(jù)集中的異常數(shù)據(jù)以及所述異常數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)價(jià)值的步驟包括：

基于所述原始目標(biāo)數(shù)據(jù)集獲取子數(shù)據(jù)對(duì)應(yīng)的第一目標(biāo)值，基于所述預(yù)測(cè)目標(biāo)數(shù)據(jù)集獲取所述子數(shù)據(jù)對(duì)應(yīng)的第一預(yù)測(cè)值；

在所述第一目標(biāo)值與所述第一預(yù)測(cè)值不匹配時(shí)，確定所述子數(shù)據(jù)為異常數(shù)據(jù)；

基于所述原始目標(biāo)數(shù)據(jù)集以及所述預(yù)測(cè)目標(biāo)數(shù)據(jù)集確定所述異常數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)價(jià)值。

進(jìn)一步地，在一實(shí)施方式中，所述預(yù)測(cè)模型是分類模型，所述預(yù)測(cè)目標(biāo)數(shù)據(jù)集包括預(yù)測(cè)值和預(yù)測(cè)值對(duì)應(yīng)的預(yù)測(cè)概率，所述基于所述原始目標(biāo)數(shù)據(jù)集以及所述預(yù)測(cè)目標(biāo)數(shù)據(jù)集確定所述異常數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)價(jià)值的步驟包括：

基于所述預(yù)測(cè)目標(biāo)數(shù)據(jù)集獲取所述異常數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)概率，并基于所述異常數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)概率確定所述異常數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)價(jià)值。

進(jìn)一步地，在一實(shí)施方式中，所述預(yù)測(cè)模型是回歸模型，所述預(yù)測(cè)目標(biāo)數(shù)據(jù)集包括預(yù)測(cè)值，所述基于所述原始目標(biāo)數(shù)據(jù)集以及所述預(yù)測(cè)目標(biāo)數(shù)據(jù)集確定所述異常數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)價(jià)值的步驟包括：

基于所述原始目標(biāo)數(shù)據(jù)集獲取所述異常數(shù)據(jù)對(duì)應(yīng)的第二目標(biāo)值，基于所述預(yù)測(cè)目標(biāo)數(shù)據(jù)集獲取所述異常數(shù)據(jù)對(duì)應(yīng)的第二預(yù)測(cè)值，將所述第二目標(biāo)值和所述第二預(yù)測(cè)值相減并求絕對(duì)值，得到所述異常數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)誤差；

基于所述預(yù)測(cè)誤差以及所述第二目標(biāo)值確定所述異常數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)價(jià)值。

進(jìn)一步地，在一實(shí)施方式中，所述異常數(shù)據(jù)包括多個(gè)，所述基于所述異常數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)價(jià)值以及預(yù)設(shè)價(jià)值，確定所述待評(píng)估樣本集的評(píng)估結(jié)果的步驟包括：