[發(fā)明專利]基于對稱不確定性和信息交互增益的特征選擇方法

在審

• 申請?zhí)枺?/td>: 201711086392.8
• 申請日: 2017-11-07
• 公開（公告）號: CN107992722A
• 公開（公告）日: 2018-05-04
• 發(fā)明（設(shè)計(jì)）人: 林曉惠;任衛(wèi)杰;蘇本哲
• 申請（專利權(quán)）人: 大連理工大學(xué)
• 主分類號: G06F19/24
• 分類號: G06F19/24;G06F19/28
• 代理公司: 大連理工大學(xué)專利中心21200
• 代理人: 溫福雪,侯明遠(yuǎn)

1.一種基于對稱不確定性和信息交互增益的特征選擇方法，其特征在于，步驟如下：

(1)衡量特征與類標(biāo)之間的關(guān)聯(lián)性

衡量特征與類標(biāo)之間關(guān)聯(lián)性的度量標(biāo)準(zhǔn)有很多，如互信息；由于互信息的取值易于傾向具有多值的變量，對稱不確定性改善了互信息的缺點(diǎn)，實(shí)際上為互信息的歸一化表示，特征f與類標(biāo)C的對稱不確定性為：

SU(f;C)=2MI(f;C)H(f)+H(C)---(1)]]>

式中MI(f；C)表示的是特征f和類標(biāo)C的互信息，H(x)表示變量x的信息熵；對稱不確定性的值域?yàn)閇0,1]，取值越大代表特征與類標(biāo)的關(guān)聯(lián)性越大；

(2)衡量特征與特征之間的互補(bǔ)性

信息交互增益是互信息的概念在更高維度上的進(jìn)一步推廣，用于刻畫三個變量之間的相互依賴程度，可用于篩選具有互補(bǔ)性的特征；特征f_i、f_j以及類標(biāo)C之間的信息交互增益定義如下：

IG(f_i；f_j；C)＝MI(f_i,f_j；C)-MI(f_i；C)-MI(f_j；C) (2)

與互信息不同，信息交互增益的取值可正可負(fù)也可以為零；如果IG(f_i；f_j；C)>0即MI(f_i,f_j；C)>MI(f_i；C)+MI(f_j；C)，表明將f_i和f_j聯(lián)合所提供的信息量多于他們單獨(dú)所能夠提供的信息量之和，換言之，f_i和f_j具有互補(bǔ)性；如果IG(f_i；f_j；C)<0即MI(f_i,f_j；C)<MI(f_i；C)+MI(f_j；C)，說明將f_i和f_j聯(lián)合所提供的信息量小于他們單獨(dú)所能夠提供的信息量之和，即f_i和f_j所提供的信息量有冗余的部分；如果IG(f_i；f_j；C)＝0即MI(f_i,f_j；C)＝MI(f_i；C)+MI(f_j；C)，說明對于f_i(f_j)來說，f_j(f_i)的加入并不能使f_i(f_j)與C的關(guān)聯(lián)性得到改善，即二者相互獨(dú)立；

信息交互增益是由聯(lián)合互信息與互信息計(jì)算得到，因此也易傾向于選擇具有多值的變量，所以需要對其進(jìn)行歸一化處理，特征f_i，f_j與類標(biāo)C歸一化的信息交互增益定義如下：

NIG(fi;fj;C)=12+IG(fi;fj;C)2×[H(fi)+H(fj)]---(3)]]>

當(dāng)0≤NIG(f_i；f_j；C)<0.5時，特征f_i與特征f_j具有冗余性，當(dāng)0.5<NIG(f_i；f_j；C)≤1時，特征f_i與特征f_j具有互補(bǔ)性；設(shè)特征集合為F，綜合考慮特征與類標(biāo)之間關(guān)聯(lián)性以及特征與特征之間互補(bǔ)性的特征評價函數(shù)為：

w(fi)=SU(fi;C)+1nΣfj∈F,fi≠fi|F|SU(fi;C)SU(fi;C)+SU(fj;C)×PairScore(fi,fj)---(4)]]>

其中，n為F中與特征f_i具有互補(bǔ)性的特征數(shù)；

從該特征評價函數(shù)可以看出，與類標(biāo)之間具有強(qiáng)關(guān)聯(lián)性并且與當(dāng)前特征子集具有互補(bǔ)性的特征會被賦予較高的權(quán)重，而與類標(biāo)之間的關(guān)聯(lián)性較弱并且與當(dāng)前特征子集具有冗余性的特征會被賦予較低的權(quán)重；在對特征f_i進(jìn)行評價時，當(dāng)前特征集合F中所有與f_i具有互補(bǔ)性的特征均會對f_i的權(quán)重計(jì)算產(chǎn)生影響，而生物信息數(shù)據(jù)通常維度較高，其中不乏噪音及與所研究問題無關(guān)的特征，這些特征的存在可能會使特征權(quán)重的計(jì)算產(chǎn)生偏差；因此在每一次迭代中，IG-RFE計(jì)算當(dāng)前特征集合F中特征的權(quán)重，刪除權(quán)重最小的|F|×deleteRatio個特征，重復(fù)此過程直到F為空集，保留迭代刪除過程中具有最高分類準(zhǔn)確率的特征集合；最先被刪除的特征為包含信息量最少的特征，隨著迭代的進(jìn)行，噪音逐漸被刪除，特征權(quán)重的計(jì)算逐步更加準(zhǔn)確；IG-RFE算法描述如下：

輸入：訓(xùn)練數(shù)據(jù)集D，其中特征集合記作F＝{f₁,f₂,…,f_m}，類標(biāo)集合記作C，特征迭代刪除比例deleteRatio；

過程：

輸出：所選特征集合S；

IG-RFE算法整體分為兩個階段，1-9為第一階段；首先初始化所選特征集合S為空集，最高分類準(zhǔn)確率為0，然后計(jì)算每個特征和類標(biāo)的對稱不確定性，對稱不確定性值為0的特征被認(rèn)為與類標(biāo)不具關(guān)聯(lián)性而刪除，最后計(jì)算每對特征之間的歸一化信息交互增益；10-20為第二階段，為特征子集尋優(yōu)階段；根據(jù)公式(4)計(jì)算特征權(quán)重，依次移除一定比例的權(quán)重較低的特征，使得特征權(quán)重的計(jì)算免受噪音特征的干擾而逐步趨于準(zhǔn)確，根據(jù)分類準(zhǔn)確率來評價特征集合的優(yōu)劣程度，最后輸出搜索到的最優(yōu)特征集合。