[發(fā)明專(zhuān)利]一種針對(duì)數(shù)據(jù)不平衡的自動(dòng)建模系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110563919.1
• 申請(qǐng)日: 2021-05-24
• 公開(kāi)（公告）號(hào): CN113177642A
• 公開(kāi)（公告）日: 2021-07-27
• 發(fā)明（設(shè)計(jì)）人: 時(shí)玥;譚俊;黎婧璇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京融七牛信息技術(shù)有限公司
• 主分類(lèi)號(hào): G06N20/00
• 分類(lèi)號(hào): G06N20/00
• 代理公司: 北京山允知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11741
• 代理人: 胡冰;鄧玉婷

1.一種針對(duì)數(shù)據(jù)不平衡的自動(dòng)建模系統(tǒng)，其特征在于，包括：數(shù)據(jù)讀取模塊、數(shù)據(jù)預(yù)處理模塊、特征分析模塊和模型訓(xùn)練模塊，

數(shù)據(jù)讀取模塊從大數(shù)據(jù)集群讀取數(shù)據(jù)，讀取的數(shù)據(jù)為一張寬表，包含特征列，并且對(duì)特征列進(jìn)行標(biāo)記；

數(shù)據(jù)預(yù)處理模塊對(duì)讀取的數(shù)據(jù)進(jìn)行處理，數(shù)據(jù)預(yù)處理模塊包括：樣本抽樣模塊、樣本平衡模塊、樣本分區(qū)模塊、特征分析模塊、特征篩選模塊、缺失值填充模塊和特征值映射模塊，其中，樣本抽樣模塊根據(jù)設(shè)定的采樣比率對(duì)樣本進(jìn)行隨機(jī)抽樣或分層抽樣，樣本平衡模塊將樣本抽樣后的少數(shù)類(lèi)樣本擴(kuò)增，樣本分區(qū)模塊按照設(shè)定的樣本劃分比率將樣本劃分為訓(xùn)練集和驗(yàn)證集，特征分析模塊對(duì)訓(xùn)練集進(jìn)行各特征進(jìn)行統(tǒng)計(jì)分析，特征篩選模塊對(duì)驗(yàn)證集和訓(xùn)練集中的樣本進(jìn)行篩選以選出入模特征，缺失值填充模塊對(duì)數(shù)據(jù)中缺失值進(jìn)行填充，特征值映射模塊在訓(xùn)練集上進(jìn)行特征值映射；

模型訓(xùn)練模塊對(duì)于訓(xùn)練集數(shù)據(jù)進(jìn)行訓(xùn)練，得到訓(xùn)練集、驗(yàn)證集的模型預(yù)測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的自動(dòng)建模系統(tǒng)，其特征在于，所述樣本平衡模塊基于ACGAN算法或BAGAN算法將樣本抽樣后的少數(shù)類(lèi)樣本擴(kuò)增，所述樣本平衡模塊包括：

標(biāo)簽處理模塊，其將要擴(kuò)增的標(biāo)簽加工成模型所需的形式；

判別器，其識(shí)別數(shù)據(jù)是否為輸入某類(lèi)別標(biāo)簽數(shù)據(jù)或是生成的數(shù)據(jù)；

生成器，其生成某類(lèi)別標(biāo)簽樣本。

3.根據(jù)權(quán)利要求2所述的自動(dòng)建模系統(tǒng)，其特征在于，

使用ACGAN時(shí)，標(biāo)簽處理時(shí)增加輔助標(biāo)簽列區(qū)分真假樣本，使用BAGAN時(shí)，增加值為N的假樣本標(biāo)簽，其中N為樣本類(lèi)別數(shù)。

4.根據(jù)權(quán)利要求1所述的自動(dòng)建模系統(tǒng)，其特征在于，所述樣本抽樣模塊根據(jù)設(shè)定的采樣比率對(duì)樣本進(jìn)行隨機(jī)抽樣、分層抽樣或自定義正負(fù)標(biāo)簽比例的采樣。

5.根據(jù)權(quán)利要求1所述的自動(dòng)建模系統(tǒng)，其特征在于，特征分析模塊結(jié)合樣本標(biāo)簽，統(tǒng)計(jì)每一維特征的KS指標(biāo)、IV指標(biāo)和PSI指標(biāo)。

6.根據(jù)權(quán)利要求1所述的自動(dòng)建模系統(tǒng)，其特征在于，模型訓(xùn)練模塊還進(jìn)行如下操作：在模型訓(xùn)練之前，采用孤立森林算法去除異常樣本，輸入為包含各特征列的寬表，輸出為異常的概率。

7.根據(jù)權(quán)利要求6所述的自動(dòng)建模系統(tǒng)，其特征在于，數(shù)據(jù)預(yù)處理模塊的操作還包括：基于購(gòu)物籃FP-Growth算法對(duì)輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)去重和格式轉(zhuǎn)換，其中輸入數(shù)據(jù)為用戶(hù)的商品購(gòu)買(mǎi)情況，數(shù)據(jù)去重使得用戶(hù)與同一商品的記錄只出現(xiàn)過(guò)一次。

8.根據(jù)權(quán)利要求7所述的自動(dòng)建模系統(tǒng)，其特征在于，數(shù)據(jù)預(yù)處理模塊的操作還包括：基于協(xié)同過(guò)濾ALS算法對(duì)輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)去重和信息映射，其中輸入數(shù)據(jù)為用戶(hù)與商品的交互行為，數(shù)據(jù)去重使得用戶(hù)與商品的交互行為只出現(xiàn)過(guò)一次，信息映射為將用戶(hù)與商品映射為標(biāo)簽索引。

9.根據(jù)權(quán)利要求8所述的自動(dòng)建模系統(tǒng)，其特征在于，模型評(píng)估模塊的輸出的用于評(píng)估模型效果的指標(biāo)包括：準(zhǔn)確率、召回率、精準(zhǔn)度、基尼系數(shù)、F1統(tǒng)計(jì)量、混淆矩陣、ROC曲線(xiàn)圖、AUC、KS曲線(xiàn)圖、提升度曲線(xiàn)圖、召回率曲線(xiàn)圖和響應(yīng)率曲線(xiàn)圖；MSE、RMSE、R2、調(diào)整R2、SMAPE、EVS、Median absolute error、MAE、特征的殘差圖、預(yù)測(cè)值與實(shí)際值對(duì)比圖、分位數(shù)-分位數(shù)圖和預(yù)測(cè)值殘差分布圖；簇內(nèi)的點(diǎn)到中心點(diǎn)的距離平方和；正確率、混淆矩陣、準(zhǔn)確率和召回率。

10.根據(jù)權(quán)利要求9所述的自動(dòng)建模系統(tǒng)，其特征在于，數(shù)據(jù)預(yù)處理模塊還包括樣本配比模塊和概率校正模塊，樣本配比模塊能夠?qū)ω?fù)樣本進(jìn)行抽樣，調(diào)整正樣本在總樣本中的占比，概率校正模塊對(duì)建模結(jié)果概率進(jìn)行調(diào)整，使用先驗(yàn)概率進(jìn)行校正。