[發(fā)明專(zhuān)利]一種模型效能的波動(dòng)識(shí)別方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010169258.X
• 申請(qǐng)日: 2020-03-12
• 公開(kāi)（公告）號(hào): CN111414945A
• 公開(kāi)（公告）日: 2020-07-14
• 發(fā)明（設(shè)計(jì)）人: 紀(jì)忠光
• 申請(qǐng)（專(zhuān)利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06N20/00
• 代理公司: 北京國(guó)昊天誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 11315
• 代理人: 張倩;朱文杰

本說(shuō)明書(shū)一個(gè)或多個(gè)實(shí)施例提供了一種模型效能的波動(dòng)識(shí)別方法及裝置，該方法包括：獲取目標(biāo)模型的訓(xùn)練樣本數(shù)據(jù)和預(yù)測(cè)業(yè)務(wù)數(shù)據(jù)；基于訓(xùn)練樣本數(shù)據(jù)，對(duì)目標(biāo)模型進(jìn)行模型參數(shù)訓(xùn)練，確定各預(yù)設(shè)數(shù)據(jù)特征對(duì)目標(biāo)模型的重要性評(píng)價(jià)變量的變量數(shù)值；以及基于訓(xùn)練樣本數(shù)據(jù)，對(duì)各預(yù)設(shè)數(shù)據(jù)特征的樣本標(biāo)簽區(qū)分能力進(jìn)行識(shí)別，確定預(yù)設(shè)數(shù)據(jù)特征對(duì)目標(biāo)模型的預(yù)測(cè)能力影響變量的變量數(shù)值；以及基于預(yù)測(cè)業(yè)務(wù)數(shù)據(jù)和訓(xùn)練樣本數(shù)據(jù)，對(duì)各預(yù)測(cè)數(shù)據(jù)特征的特征分布差異進(jìn)行識(shí)別，確定各預(yù)設(shè)數(shù)據(jù)特征的穩(wěn)定性評(píng)價(jià)變量的變量數(shù)值；再根據(jù)確定出的各變量數(shù)值，確定目標(biāo)模型的模型效能波動(dòng)數(shù)據(jù)。

技術(shù)領(lǐng)域

本文件涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種模型效能的波動(dòng)識(shí)別方法及裝置。

背景技術(shù)

目前，隨著大數(shù)據(jù)、人工智能的快速發(fā)展，在大數(shù)據(jù)時(shí)代下，機(jī)器學(xué)習(xí)模型在業(yè)務(wù)中發(fā)揮著非常大的作用，其中，基于收集到的歷史樣本數(shù)據(jù)對(duì)模型參數(shù)進(jìn)行訓(xùn)練，得到訓(xùn)練好的機(jī)器學(xué)習(xí)模型；當(dāng)模型訓(xùn)練完畢后，將訓(xùn)練好的機(jī)器學(xué)習(xí)模型部署上線(xiàn)，并利用訓(xùn)練好的機(jī)器學(xué)習(xí)模型對(duì)當(dāng)前收集的線(xiàn)上業(yè)務(wù)數(shù)據(jù)進(jìn)行預(yù)測(cè)。然而，由于機(jī)器學(xué)習(xí)模型一旦訓(xùn)練完畢，其模型參數(shù)便已經(jīng)固定，如果實(shí)際應(yīng)用中的線(xiàn)上業(yè)務(wù)數(shù)據(jù)或者業(yè)務(wù)場(chǎng)景發(fā)生變化，那么，可能對(duì)模型的應(yīng)用效果產(chǎn)生巨大的影響，因此，在實(shí)際業(yè)務(wù)中，模型效能監(jiān)控十分重要。

當(dāng)前，針對(duì)模型效能的監(jiān)控過(guò)程，通常在基于模型預(yù)測(cè)結(jié)果，獲得實(shí)際業(yè)務(wù)表現(xiàn)反饋數(shù)據(jù)之后，即經(jīng)過(guò)一段時(shí)間的實(shí)際業(yè)務(wù)表現(xiàn)數(shù)據(jù)收集之后，基于模型訓(xùn)練時(shí)模型指標(biāo)的特征值與基于實(shí)際業(yè)務(wù)表現(xiàn)反饋數(shù)據(jù)得到的模型指標(biāo)的特征值進(jìn)行比對(duì)，來(lái)確定模型效能，例如，該模型指標(biāo)可以是分類(lèi)模型的評(píng)價(jià)指標(biāo)auc、ks等。其中，針對(duì)特定的模型應(yīng)用場(chǎng)景，模型的應(yīng)用效能需要比較長(zhǎng)的業(yè)務(wù)表現(xiàn)周期才能獲取到，例如，以信貸違約識(shí)別的應(yīng)用場(chǎng)景為例，先利用訓(xùn)練好的模型基于信貸申請(qǐng)用戶(hù)的線(xiàn)上業(yè)務(wù)數(shù)據(jù)進(jìn)行違約行為預(yù)測(cè)，針對(duì)放行的信貸申請(qǐng)用戶(hù)還需要監(jiān)測(cè)其一段時(shí)間內(nèi)的履約行為數(shù)據(jù)，才能確定該用戶(hù)是否存在違約行為，再基于該履約行為數(shù)據(jù)確定模型效能，然而，如果在此過(guò)程中，模型的效能大幅下滑，將產(chǎn)生一定程度的業(yè)務(wù)損失，且由于業(yè)務(wù)損失已發(fā)生則無(wú)法補(bǔ)救，因此，可能存在因模型效能的波動(dòng)導(dǎo)致不必要的業(yè)務(wù)損失。

由此可知，需要提供一種能夠更加快速、準(zhǔn)確地獲知模型效能波動(dòng)程度的技術(shù)方案。

發(fā)明內(nèi)容

本說(shuō)明書(shū)一個(gè)或多個(gè)實(shí)施例的目的是提供一種模型效能的波動(dòng)識(shí)別方法。該模型效能的波動(dòng)識(shí)別方法包括：

獲取目標(biāo)模型的訓(xùn)練樣本數(shù)據(jù)和預(yù)測(cè)業(yè)務(wù)數(shù)據(jù)。基于所述訓(xùn)練樣本數(shù)據(jù)，對(duì)所述目標(biāo)模型進(jìn)行模型參數(shù)訓(xùn)練，確定各預(yù)設(shè)數(shù)據(jù)特征對(duì)所述目標(biāo)模型的重要性評(píng)價(jià)變量的變量數(shù)值。以及，基于所述訓(xùn)練樣本數(shù)據(jù)，對(duì)各預(yù)設(shè)數(shù)據(jù)特征的樣本標(biāo)簽區(qū)分能力進(jìn)行識(shí)別，確定所述預(yù)設(shè)數(shù)據(jù)特征對(duì)所述目標(biāo)模型的預(yù)測(cè)能力影響變量的變量數(shù)值。以及，基于所述預(yù)測(cè)業(yè)務(wù)數(shù)據(jù)和所述訓(xùn)練樣本數(shù)據(jù)，對(duì)各預(yù)測(cè)數(shù)據(jù)特征的特征分布差異進(jìn)行識(shí)別，確定各所述預(yù)設(shè)數(shù)據(jù)特征的穩(wěn)定性評(píng)價(jià)變量的變量數(shù)值。根據(jù)所述預(yù)測(cè)能力影響變量的變量數(shù)值、所述重要性評(píng)價(jià)變量的變量數(shù)值、以及所述穩(wěn)定性評(píng)價(jià)變量的變量數(shù)值，確定所述目標(biāo)模型的模型效能波動(dòng)數(shù)據(jù)。

本說(shuō)明書(shū)一個(gè)或多個(gè)實(shí)施例的目的是提供一種模型效能的波動(dòng)識(shí)別裝置。該模型效能的波動(dòng)識(shí)別裝置包括：

數(shù)據(jù)獲取模塊，其獲取目標(biāo)模型的訓(xùn)練樣本數(shù)據(jù)和預(yù)測(cè)業(yè)務(wù)數(shù)據(jù)。第一確定模塊，其基于所述訓(xùn)練樣本數(shù)據(jù)，對(duì)所述目標(biāo)模型進(jìn)行模型參數(shù)訓(xùn)練，確定各預(yù)設(shè)數(shù)據(jù)特征對(duì)所述目標(biāo)模型的重要性評(píng)價(jià)變量的變量數(shù)值。第二確定模塊，其基于所述訓(xùn)練樣本數(shù)據(jù)，對(duì)各預(yù)設(shè)數(shù)據(jù)特征的樣本標(biāo)簽區(qū)分能力進(jìn)行識(shí)別，確定所述預(yù)設(shè)數(shù)據(jù)特征對(duì)所述目標(biāo)模型的預(yù)測(cè)能力影響變量的變量數(shù)值。第三確定模塊，其基于所述預(yù)測(cè)業(yè)務(wù)數(shù)據(jù)和所述訓(xùn)練樣本數(shù)據(jù)，對(duì)各預(yù)測(cè)數(shù)據(jù)特征的特征分布差異進(jìn)行識(shí)別，確定各所述預(yù)設(shè)數(shù)據(jù)特征的穩(wěn)定性評(píng)價(jià)變量的變量數(shù)值。效能波動(dòng)確定模塊，其根據(jù)所述預(yù)測(cè)能力影響變量的變量數(shù)值、所述重要性評(píng)價(jià)變量的變量數(shù)值、以及所述穩(wěn)定性評(píng)價(jià)變量的變量數(shù)值，確定所述目標(biāo)模型的模型效能波動(dòng)數(shù)據(jù)。