[發(fā)明專(zhuān)利]機(jī)器學(xué)習(xí)模型的建模可行性的評(píng)估方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210988025.1
• 申請(qǐng)日: 2022-08-17
• 公開(kāi)（公告）號(hào): CN115689325A
• 公開(kāi)（公告）日: 2023-02-03
• 發(fā)明（設(shè)計(jì)）人: 李策;朱丹;劉晏萁
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)工商銀行股份有限公司
• 主分類(lèi)號(hào): G06Q10/0639
• 分類(lèi)號(hào): G06Q10/0639;G06Q10/067;G06N20/00
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 馬冬生;任默聞

1.一種機(jī)器學(xué)習(xí)模型的建模可行性的評(píng)估方法，其特征在于，所述方法包括：

步驟S1，利用待建模的特征數(shù)據(jù)集和建模目標(biāo)標(biāo)簽對(duì)待采用的機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練和測(cè)試，獲得基準(zhǔn)評(píng)價(jià)指標(biāo)，所述特征數(shù)據(jù)集包括客戶(hù)的基本信息和/或財(cái)務(wù)信息，所述建模目標(biāo)標(biāo)簽表示客戶(hù)行為的預(yù)測(cè)結(jié)果；

步驟S2，對(duì)待建模的特征數(shù)據(jù)集中的特征數(shù)據(jù)進(jìn)行干擾，獲得干擾特征數(shù)據(jù)；

步驟S3，利用包含干擾特征數(shù)據(jù)的特征數(shù)據(jù)集和所述建模目標(biāo)標(biāo)簽對(duì)待采用的機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練和測(cè)試，獲得干擾評(píng)價(jià)指標(biāo)；以及

步驟S4，根據(jù)所述基準(zhǔn)評(píng)價(jià)指標(biāo)和所述干擾評(píng)價(jià)指標(biāo)，評(píng)價(jià)基于所述待建模的特征數(shù)據(jù)集針對(duì)所述建模目標(biāo)標(biāo)簽的建模可行性。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S1包括：

步驟S11，定義業(yè)務(wù)相關(guān)的模型效果評(píng)價(jià)指標(biāo)；

步驟S12，將待建模的特征數(shù)據(jù)集、建模目標(biāo)標(biāo)簽分為訓(xùn)練集和測(cè)試集；

步驟S13，利用所述待采用的機(jī)器學(xué)習(xí)模型，在所述訓(xùn)練集上訓(xùn)練所述機(jī)器學(xué)習(xí)模型，得到訓(xùn)練完成的機(jī)器學(xué)習(xí)模型；

步驟S14，在所述測(cè)試集上對(duì)訓(xùn)練完成的機(jī)器學(xué)習(xí)模型進(jìn)行測(cè)試，根據(jù)測(cè)試結(jié)果基于所述模型效果評(píng)價(jià)指標(biāo)獲得所述基準(zhǔn)評(píng)價(jià)指標(biāo)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，

循環(huán)執(zhí)行所述步驟S13和所述步驟S14，直到所述模型效果評(píng)價(jià)指標(biāo)無(wú)法進(jìn)行一步提升，將該情況下的模型效果評(píng)價(jià)指標(biāo)作為所述基準(zhǔn)評(píng)價(jià)指標(biāo)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，

在步驟S2中，對(duì)不同的特征數(shù)據(jù)分別進(jìn)行干擾，

在步驟S3中，利用包含不同的干擾特征數(shù)據(jù)的特征數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，獲得多個(gè)干擾評(píng)價(jià)指標(biāo)，

在步驟S4中，根據(jù)所述多個(gè)干擾評(píng)價(jià)指標(biāo)和所述基準(zhǔn)評(píng)價(jià)指標(biāo)，評(píng)價(jià)基于所述待建模的特征數(shù)據(jù)集針對(duì)所述建模目標(biāo)標(biāo)簽的建模可行性。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，

在步驟S2中，根據(jù)步驟S1所獲得的機(jī)器學(xué)習(xí)基準(zhǔn)模型的特征數(shù)據(jù)的重要性，對(duì)所述特征數(shù)據(jù)進(jìn)行排序，并對(duì)重要性排序較高的N個(gè)特征數(shù)據(jù)分別進(jìn)行干擾，其中N大于零且小于所述待建模的特征數(shù)據(jù)集中包含的特征數(shù)據(jù)的個(gè)數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，

根據(jù)如下公式評(píng)價(jià)所述建模可行性：

其中，Decay表示性能衰減比例，S_base為所述基準(zhǔn)評(píng)價(jià)指標(biāo)，所述S_N表示所述干擾評(píng)價(jià)指標(biāo)。

7.根據(jù)權(quán)利要求1至6中任意一項(xiàng)所述的方法，其特征在于，

所述干擾特征數(shù)據(jù)包括如下任意一者：按照特征數(shù)據(jù)的值域范圍而產(chǎn)生的該值域范圍內(nèi)的隨機(jī)數(shù)、對(duì)特征數(shù)據(jù)疊加隨機(jī)噪音而生成的干擾特征數(shù)據(jù)、對(duì)整列特征數(shù)據(jù)進(jìn)行滾動(dòng)干擾而生成的干擾特征數(shù)據(jù)。

8.一種機(jī)器學(xué)習(xí)模型的建模可行性的評(píng)估裝置，其特征在于，所述裝置包括：

基準(zhǔn)評(píng)價(jià)指標(biāo)獲得模塊，利用待建模的特征數(shù)據(jù)集和建模目標(biāo)標(biāo)簽對(duì)待采用的機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練和測(cè)試，獲得基準(zhǔn)評(píng)價(jià)指標(biāo)；

干擾特征數(shù)據(jù)獲得模塊，對(duì)待建模的特征數(shù)據(jù)集中的特征數(shù)據(jù)進(jìn)行干擾，獲得干擾特征數(shù)據(jù)；

干擾評(píng)價(jià)指標(biāo)獲得模塊，利用包含干擾特征數(shù)據(jù)的特征數(shù)據(jù)集和所述建模目標(biāo)標(biāo)簽對(duì)待采用的機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練和測(cè)試，獲得干擾評(píng)價(jià)指標(biāo)；以及

建模可行性評(píng)價(jià)模塊，根據(jù)所述基準(zhǔn)評(píng)價(jià)指標(biāo)和所述干擾評(píng)價(jià)指標(biāo)，評(píng)價(jià)基于所述待建模的特征數(shù)據(jù)集針對(duì)所述建模目標(biāo)標(biāo)簽的建模可行性。

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述方法。