[發(fā)明專利]建模數(shù)據(jù)評(píng)價(jià)指標(biāo)的處理方法、裝置、終端設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911057341.1
• 申請(qǐng)日: 2019-10-31
• 公開（公告）號(hào): CN110796381A
• 公開（公告）日: 2020-02-14
• 發(fā)明（設(shè)計(jì)）人: 陳瑞欽;黃啟軍;李詩(shī)琦;唐興興;林冰垠
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號(hào): G06Q10/06
• 分類號(hào): G06Q10/06;G06N20/00
• 代理公司: 44287 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所
• 代理人: 王韜

本發(fā)明公開了一種建模數(shù)據(jù)評(píng)價(jià)指標(biāo)的處理方法、裝置、終端設(shè)備及可計(jì)算機(jī)讀存儲(chǔ)介質(zhì)，通過(guò)將建模數(shù)據(jù)拆分為正樣本數(shù)據(jù)集和負(fù)樣本數(shù)據(jù)集；基于預(yù)設(shè)區(qū)間劃分，并行計(jì)算所述正樣本數(shù)據(jù)集中各特征的第一分位點(diǎn)信息和所述負(fù)樣本數(shù)據(jù)集中各所述特征的第二分位點(diǎn)信息；根據(jù)所述第一分位點(diǎn)信息和所述第二分位點(diǎn)信息，得到各所述特征的正樣本累積分布數(shù)和負(fù)樣本累積分布數(shù)；基于所述正樣本累積分布數(shù)、所述負(fù)樣本累積分布數(shù)和所述建模數(shù)據(jù)的正樣本總數(shù)、負(fù)樣本總數(shù)，確定所述建模數(shù)據(jù)的評(píng)價(jià)指標(biāo)。本發(fā)明節(jié)約了對(duì)建模數(shù)據(jù)中多個(gè)特征或者模型的評(píng)價(jià)指標(biāo)?即KS值進(jìn)行計(jì)算的時(shí)間，提高了建模數(shù)據(jù)評(píng)價(jià)指標(biāo)的計(jì)算處理效率。

技術(shù)領(lǐng)域

本發(fā)明涉及Fintech(金融科技)技術(shù)領(lǐng)域，尤其涉及一種建模數(shù)據(jù)評(píng)價(jià)指標(biāo)的處理方法、裝置、終端設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

基于機(jī)器學(xué)習(xí)模型的有效性和魯棒性考慮，愈來(lái)愈多的領(lǐng)域開始使用機(jī)器學(xué)習(xí)技術(shù)，尤其是將機(jī)器學(xué)習(xí)技術(shù)應(yīng)用到金融等對(duì)風(fēng)險(xiǎn)敏感領(lǐng)域，而在針對(duì)該領(lǐng)域構(gòu)建風(fēng)險(xiǎn)管控模型的場(chǎng)景中，通常會(huì)對(duì)輸入到該模型中的各特征數(shù)據(jù)或者訓(xùn)練模型進(jìn)行評(píng)估分析，以篩選出符合模型構(gòu)建要求的建模數(shù)據(jù)，而在對(duì)建模數(shù)據(jù)進(jìn)行評(píng)估分析的眾多評(píng)估指標(biāo)中，非常重要的一項(xiàng)指標(biāo)就是柯爾莫可洛夫-斯米洛夫檢驗(yàn)(Kolmogorov-Smirnov Statistics，KS)值，一種在建模過(guò)程中用于描述特征或模型區(qū)分正負(fù)樣本分隔程度的評(píng)價(jià)指標(biāo)，KS值越大，表示當(dāng)前建模數(shù)據(jù)的區(qū)分能力越強(qiáng)，對(duì)預(yù)測(cè)結(jié)果更加有效。

然而，現(xiàn)有對(duì)KS值進(jìn)行計(jì)算的方式，當(dāng)需要對(duì)大量的建模數(shù)據(jù)計(jì)算KS值時(shí)，只能依次取出數(shù)據(jù)中每一個(gè)特征數(shù)據(jù)以及對(duì)應(yīng)目標(biāo)值，并按照各特征數(shù)據(jù)值的大小排序進(jìn)行計(jì)算，如此，在特征數(shù)據(jù)量龐大的情況下，對(duì)整體建模數(shù)據(jù)計(jì)算KS值將需要耗費(fèi)非常多的時(shí)間，而同時(shí)啟動(dòng)多個(gè)線程或者進(jìn)程來(lái)計(jì)算KS值又會(huì)消耗大量的存儲(chǔ)和計(jì)算資源，從而，導(dǎo)致對(duì)建模數(shù)據(jù)KS值進(jìn)行計(jì)算的效率低下。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種建模數(shù)據(jù)評(píng)價(jià)指標(biāo)的處理方法、裝置、終端設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有的對(duì)建模數(shù)據(jù)KS值進(jìn)行計(jì)算的方式，計(jì)算效率低下的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種建模數(shù)據(jù)評(píng)價(jià)指標(biāo)的處理方法，所述建模數(shù)據(jù)評(píng)價(jià)指標(biāo)的處理方法包括：

將建模數(shù)據(jù)拆分為正樣本數(shù)據(jù)集和負(fù)樣本數(shù)據(jù)集；

基于預(yù)設(shè)區(qū)間劃分，并行計(jì)算所述正樣本數(shù)據(jù)集中各特征的第一分位點(diǎn)信息和所述負(fù)樣本數(shù)據(jù)集中各所述特征的第二分位點(diǎn)信息；

根據(jù)所述第一分位點(diǎn)信息和所述第二分位點(diǎn)信息，得到各所述特征的正樣本累積分布數(shù)和負(fù)樣本累積分布數(shù)；

基于所述正樣本累積分布數(shù)、所述負(fù)樣本累積分布數(shù)和所述建模數(shù)據(jù)的正樣本總數(shù)、負(fù)樣本總數(shù)，確定所述建模數(shù)據(jù)的評(píng)價(jià)指標(biāo)。

進(jìn)一步地，所述基于預(yù)設(shè)區(qū)間劃分的步驟，包括：

獲取預(yù)設(shè)分段數(shù)目，并按照所述分段數(shù)目對(duì)所述正樣本數(shù)據(jù)集以及所述負(fù)樣本數(shù)據(jù)集中各所述特征的特征數(shù)據(jù)進(jìn)行拆分；

所述并行計(jì)算所述正樣本數(shù)據(jù)集中各特征的第一分位點(diǎn)信息和所述負(fù)樣本數(shù)據(jù)集中各所述特征的第二分位點(diǎn)信息的步驟，包括：

統(tǒng)計(jì)拆分各所述特征數(shù)據(jù)后，所述正樣本數(shù)據(jù)集中各所述特征的第一分位點(diǎn)作為第一分位點(diǎn)信息；

統(tǒng)計(jì)拆分各所述特征數(shù)據(jù)后，所述負(fù)樣本數(shù)據(jù)集中各所述特征的第二分位點(diǎn)作為第二分位點(diǎn)信息。

進(jìn)一步地，在所述按照所述分段數(shù)目對(duì)所述正樣本數(shù)據(jù)集以及所述負(fù)樣本數(shù)據(jù)集中各所述特征的特征數(shù)據(jù)進(jìn)行拆分的步驟之后，還包括：

將拆分得到的各分段特征數(shù)據(jù)的端點(diǎn)數(shù)值作為所述第一分位點(diǎn)或者第二分位點(diǎn)。