[發(fā)明專利]一種基于分類的數(shù)據(jù)標(biāo)準(zhǔn)化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910793531.3
• 申請(qǐng)日: 2019-08-27
• 公開（公告）號(hào): CN112446390A
• 公開（公告）日: 2021-03-05
• 發(fā)明（設(shè)計(jì)）人: 涂亮;冷祥彪;袁皓
• 申請(qǐng)（專利權(quán)）人: 南方電網(wǎng)科學(xué)研究院有限責(zé)任公司;中國南方電網(wǎng)有限責(zé)任公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京恒和頓知識(shí)產(chǎn)權(quán)代理有限公司 11014
• 代理人: 蔡志勇

本發(fā)明提供一種基于分類模型的數(shù)據(jù)標(biāo)準(zhǔn)化方法。首先，采用機(jī)器學(xué)習(xí)中典型的分類算法構(gòu)建分類模型庫；然后,選取不同的分類模型對(duì)這組新數(shù)據(jù)集分別進(jìn)行分類和預(yù)測(cè)；最后根據(jù)不同數(shù)據(jù)集特點(diǎn)采取不同的數(shù)據(jù)標(biāo)準(zhǔn)化方法。本發(fā)明提供并實(shí)施了一種機(jī)遇分類模型的數(shù)據(jù)標(biāo)準(zhǔn)化方法，在實(shí)際應(yīng)用中可以有針對(duì)性地選擇合理的分類模型，對(duì)于數(shù)據(jù)標(biāo)準(zhǔn)化方法研究具有指導(dǎo)意義。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域,涉及一種基于分類模型的數(shù)據(jù)標(biāo)準(zhǔn)化方法。

背景技術(shù)

分類是數(shù)據(jù)挖掘過程中的一項(xiàng)非常重要的任務(wù)，利用分類技術(shù)可以從數(shù)據(jù)集中提取描述數(shù)據(jù)類的一個(gè)函數(shù)或模型(也常稱為分類器)，并把數(shù)據(jù)集中的每個(gè)對(duì)象歸結(jié)到某個(gè)已知的對(duì)象類中。從機(jī)器學(xué)習(xí)的觀點(diǎn)，分類技術(shù)是一種有指導(dǎo)的學(xué)習(xí)，即每個(gè)訓(xùn)練樣本的數(shù)據(jù)對(duì)象已經(jīng)有類標(biāo)識(shí)，通過學(xué)習(xí)可以形成表達(dá)數(shù)據(jù)對(duì)象與類標(biāo)識(shí)間對(duì)應(yīng)的知識(shí)，進(jìn)而也可以預(yù)測(cè)未來數(shù)據(jù)的歸類。在進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化過程中，針對(duì)不同種類的數(shù)據(jù)其標(biāo)準(zhǔn)化方法根據(jù)不同數(shù)據(jù)類型也有著不同的處理。在經(jīng)過分類后，可以根據(jù)每一類別的數(shù)據(jù)的特點(diǎn)采取對(duì)應(yīng)的標(biāo)準(zhǔn)化方法，對(duì)海量數(shù)據(jù)標(biāo)準(zhǔn)化計(jì)算提供幫助，對(duì)數(shù)據(jù)分類和數(shù)據(jù)標(biāo)準(zhǔn)化研究具有指導(dǎo)意義。

發(fā)明內(nèi)容

為研究大數(shù)據(jù)標(biāo)準(zhǔn)化方法，本發(fā)明提供一種基于分類模型的數(shù)據(jù)標(biāo)準(zhǔn)化方法。首先，采用機(jī)器學(xué)習(xí)中典型的分類算法構(gòu)建分類模型庫；然后,選取不同的分類模型對(duì)這組新數(shù)據(jù)集分別進(jìn)行分類和預(yù)測(cè)；最后根據(jù)不同數(shù)據(jù)集特點(diǎn)采取不同的數(shù)據(jù)標(biāo)準(zhǔn)化方法。

為了達(dá)成上述目的,本發(fā)明提供一種基于分類模型的數(shù)據(jù)標(biāo)準(zhǔn)化方法。具體步驟如下：

(1)分類模型庫構(gòu)建,采用機(jī)器學(xué)習(xí)中典型的分類算法來構(gòu)建分類模型庫,包括C4.5、K近鄰、樸素貝葉斯和RIPPER四種基本模型,其中C4.5是一種典型的決策樹算法,而RIPPER是一種基于規(guī)則的分類方法,同時(shí)還包括AdaBoost和Bagging兩種集成模型。初始化分類模型并對(duì)各模型的運(yùn)行參數(shù)進(jìn)行設(shè)置。特別地,該分類模型庫并不僅包含以上6種分類

模型,其具有可更新性,可實(shí)現(xiàn)分類模型的增加、修改和刪除等功能。

(2)分類模型對(duì)數(shù)據(jù)集進(jìn)行預(yù)測(cè)。在步驟(1)中的分類模型庫中選取待評(píng)價(jià)的分類模型,并將每個(gè)數(shù)據(jù)集D分別進(jìn)行分類和預(yù)測(cè),并采用AUC(Area Under the Curve)指標(biāo)來評(píng)價(jià)各個(gè)分類模型的預(yù)測(cè)結(jié)果,從而得到一組AUC值,記為集S＝{AUC_i},i＝1,2,...,r。其中,AUC指標(biāo)是評(píng)價(jià)分類模型性能的最常用指標(biāo),AUC值越大,說明該分類模型的性能越好,預(yù)測(cè)結(jié)果也越準(zhǔn)確。為了降低數(shù)據(jù)集構(gòu)造帶來的隨機(jī)誤差，集合S中每個(gè)AUC取100次重復(fù)實(shí)驗(yàn)的平均值。

(3)數(shù)據(jù)標(biāo)準(zhǔn)化方法。根據(jù)步驟(2)得到的結(jié)果，對(duì)于在(0,1)之間的數(shù)據(jù)集采用反正切函數(shù)，對(duì)于不斷有新數(shù)據(jù)加入的集合，采用極差標(biāo)準(zhǔn)化；對(duì)于最大值最小值未知的集合使用z-score標(biāo)準(zhǔn)化；對(duì)于分散程度較高的集合采用倒數(shù)一致化標(biāo)準(zhǔn)化；對(duì)于文本信息則適用統(tǒng)一格式。

說明：z-score標(biāo)準(zhǔn)化方法是基于原始數(shù)據(jù)的均值(mean)和標(biāo)準(zhǔn)差(standarddeviation)進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化。

C4.5是一系列用在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的分類問題中的算法，即通過學(xué)習(xí)，找到一個(gè)從屬性值到類別的映射關(guān)系，并且這個(gè)映射能用于對(duì)新的類別未知的實(shí)體進(jìn)行分類。。

K近鄰算法，即是給定一個(gè)訓(xùn)練數(shù)據(jù)集，對(duì)新的輸入實(shí)例，在訓(xùn)練數(shù)據(jù)集中找到與該實(shí)例最鄰近的K個(gè)實(shí)例(也就是上面所說的K個(gè)鄰居)，這K個(gè)實(shí)例的多數(shù)屬于某個(gè)類，就把該輸入實(shí)例分類到這個(gè)類中。

樸素貝葉斯法是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類方法，即假定給定目標(biāo)值時(shí)屬性之間相互條件獨(dú)立，也就是說沒有哪個(gè)屬性變量對(duì)于決策結(jié)果來說占有著較大的比重，也沒有哪個(gè)屬性變量對(duì)于決策結(jié)果占有著較小的比重。