[發(fā)明專利]一種改進(jìn)的不確定連續(xù)屬性決策樹的構(gòu)建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201610551758.3
• 申請(qǐng)日: 2016-07-14
• 公開（公告）號(hào): CN106611192A
• 公開（公告）日: 2017-05-03
• 發(fā)明（設(shè)計(jì)）人: 金平艷;胡成華
• 申請(qǐng)（專利權(quán)）人: 四川用聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)、人工智能以及數(shù)據(jù)挖掘領(lǐng)域，具體涉及一種改進(jìn)的不確定連續(xù)屬性決策樹的構(gòu)建方法。

背景技術(shù)

決策樹研究是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)中的一項(xiàng)重要和積極的研究課題。其所提出的算法被廣泛地應(yīng)用于實(shí)際問題當(dāng)中，如ID₃，CART和C4.5，此類算法主要是研究準(zhǔn)確率的問題。隨著科學(xué)技術(shù)的進(jìn)步，近年來，不確定數(shù)據(jù)頻繁地出現(xiàn)在現(xiàn)實(shí)應(yīng)用中，包括無線傳感器網(wǎng)絡(luò)、無線射頻識(shí)別、隱私保護(hù)等領(lǐng)域。其數(shù)據(jù)特點(diǎn)是數(shù)據(jù)值并非是確定的，即表示一個(gè)數(shù)據(jù)點(diǎn)，其表示方式是將多種取值作為一個(gè)整體，按照某種概率分布作為每個(gè)取值對(duì)應(yīng)出現(xiàn)可能性，其越來越頻繁的出現(xiàn)促使相關(guān)的研究得到了廣泛關(guān)注和快速發(fā)展。而傳統(tǒng)數(shù)據(jù)挖掘技術(shù)中往往忽略了數(shù)據(jù)中的不確定性，其研究模型與客觀世界不符。所以不確定數(shù)據(jù)挖掘技術(shù)對(duì)數(shù)據(jù)挖掘技術(shù)的實(shí)際應(yīng)用有著重要意義。屬性的不確定性包括離散屬性和連續(xù)屬性，在訓(xùn)練和測(cè)試的過程中，為了保證有效的評(píng)估模型，驗(yàn)證分類器的性能，數(shù)據(jù)集中的類別都是已知的。這里主要是針對(duì)于不確定連續(xù)屬性的分類與預(yù)測(cè)，另外由于測(cè)量?jī)x器受精度的影響，采集的數(shù)據(jù)往往包含一定的誤差，不是完全準(zhǔn)確的。

在樹的生長(zhǎng)過程中，一個(gè)不確定連續(xù)用例在節(jié)點(diǎn)屬性上測(cè)試時(shí)被分配到多個(gè)節(jié)點(diǎn)中，覆蓋了多個(gè)分支，然而確定用例只會(huì)按照屬性取值被確定地分配到相應(yīng)的分支，另外在建樹過程中，為了更好的避免決策樹中存在的過度擬合問題，本發(fā)明提出了一種改進(jìn)的不確定連續(xù)屬性決策樹的構(gòu)建方法。

發(fā)明內(nèi)容

針對(duì)于解決不確定連續(xù)屬性分類與預(yù)測(cè)的問題以及提高對(duì)其分類、預(yù)測(cè)的準(zhǔn)確率問題、類的判定問題以及決策樹中過度擬合問題，提出了一種改進(jìn)的不確定連續(xù)屬性決策樹的構(gòu)建方法。

為解決上述問題，本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的：

一種改進(jìn)的不確定連續(xù)屬性決策樹的構(gòu)建方法，包括如下步驟：

步驟1：設(shè)不確定連續(xù)屬性訓(xùn)練集中有X個(gè)樣本，屬性個(gè)數(shù)為n，即n＝(S₁，S₂，…S_n),同時(shí)分裂屬性S_i對(duì)應(yīng)了m個(gè)類L，其中L_r∈(L₁，L₂…，L_m),i∈(1，2…，n)，r∈(1，2…，m)。S_i∈(S₁，S₂，…S_n)，其中屬性值具有連續(xù)不確定性。

步驟2：把不確定連續(xù)數(shù)據(jù)屬性S_i的屬性值S_ij合并排序，根據(jù)類對(duì)不確定性數(shù)據(jù)屬性S_i進(jìn)行屬性值S_ij運(yùn)算，記為概率和P(S_ij),對(duì)類進(jìn)行處理得每一分支屬性值的概率勢(shì)P(S_ij，L_r)。

步驟3：創(chuàng)建根節(jié)點(diǎn)G。

步驟4：如果訓(xùn)練數(shù)據(jù)集為空，則返回節(jié)點(diǎn)G并標(biāo)記失敗。

步驟5：如果訓(xùn)練數(shù)據(jù)集中所有記錄都屬于同一類別，則該類型標(biāo)記節(jié)點(diǎn)G。

步驟6：如果候選屬性為空，則返回G為葉子結(jié)點(diǎn)，標(biāo)記為訓(xùn)練數(shù)據(jù)集中最普通的類。

步驟7：由于連續(xù)屬性值的不確定性，根據(jù)目標(biāo)函數(shù)f(S_i)從候選屬性中選擇splitS_i。

步驟8：標(biāo)記節(jié)點(diǎn)G為屬性splitS_i。

步驟9：由節(jié)點(diǎn)延伸出滿足條件為splitS＝splitS_i分支以及splitS_i＝splitS_ij子分支,如果滿足以下兩條件之一，就停止建樹，同時(shí)利用先剪支技術(shù)對(duì)決策樹實(shí)施進(jìn)一步優(yōu)化操作。

9.1這里假設(shè)Y_i為訓(xùn)練數(shù)據(jù)集中splitS＝splitS_i的樣本集合，如果Y_i為空，加上一個(gè)葉子結(jié)點(diǎn)，根據(jù)設(shè)定的算法將此葉子結(jié)點(diǎn)標(biāo)記為訓(xùn)練數(shù)據(jù)集中最普通的類。

9.2此節(jié)點(diǎn)中所有例子屬于同一類。

步驟10：非9.1與9.2中情況，則遞歸調(diào)用步驟7至步驟9。

步驟11：保存改進(jìn)的連續(xù)不確定性屬性的決策樹分類器。

本發(fā)明的有益效果是：

1、構(gòu)成的決策樹更好的規(guī)避了信息偏置為數(shù)量級(jí)大的問題。

2、可以實(shí)現(xiàn)對(duì)象為不確定連續(xù)屬性的歸類和預(yù)測(cè)功能。

3、此構(gòu)建的決策樹相比較之前技術(shù)具有更高的分類精度。