[發(fā)明專利]一種大數(shù)據(jù)的二次特征選擇方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201810598902.8
• 申請(qǐng)日: 2018-06-12
• 公開（公告）號(hào): CN108829816A
• 公開（公告）日: 2018-11-16
• 發(fā)明（設(shè)計(jì)）人: 王曉宇
• 申請(qǐng)（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 濟(jì)南誠(chéng)智商標(biāo)專利事務(wù)所有限公司 37105
• 代理人: 王汝銀

本發(fā)明提供了種大數(shù)據(jù)的二次特征選擇方法及裝置，所述的方法包括：S1：將數(shù)據(jù)集分離；S2：利用ReliefF算法得到樣本的每個(gè)特征所對(duì)應(yīng)的權(quán)重；S3：利用主成分分析法對(duì)各個(gè)特征加權(quán)；S4：利用搜索算法去除冗余特征。所述的裝置包括：分離模塊，用來將數(shù)據(jù)集分離；ReliefF算法模塊，利用ReliefF算法得到樣本的每個(gè)特征所對(duì)應(yīng)的權(quán)重；KCPA模塊，利用主成分分析法對(duì)各個(gè)特征加權(quán)；處理模塊，利用搜索算法去除冗余特征。該發(fā)明能夠處理高維度、包含無關(guān)和冗余特征的數(shù)據(jù)，提高了算法通用度和系統(tǒng)的精確度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，更具體地說，涉及一種大數(shù)據(jù)的二次特征選擇方法及裝置。

背景技術(shù)

科技的迅猛發(fā)展使得我們獲得信息量爆炸式增長(zhǎng)，如何從這些信息中的得到有價(jià)值的數(shù)據(jù)，模式分類等人工智能的科學(xué)應(yīng)運(yùn)而生并且逐漸成為研究熱點(diǎn)之一。

模式分類系統(tǒng)為了最大獲得某些事物的特征等相關(guān)的信息，將通過以下四個(gè)步驟，分別是獲取某事物的特征數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，再接著通過特征選擇，最后是對(duì)特征數(shù)據(jù)進(jìn)行特征評(píng)估。經(jīng)過這四個(gè)步驟后將能獲取某具體事物的正確分類。

然而數(shù)據(jù)的維度越來越高將會(huì)造成維數(shù)災(zāi)難，無關(guān)和冗余特征較多等特點(diǎn)的出現(xiàn)迫切使得研究人員需要在傳統(tǒng)的算法上進(jìn)行優(yōu)化和創(chuàng)新，使得新的算法在通用性上更強(qiáng)并且在運(yùn)行效率上更高，而對(duì)于模式分類系統(tǒng)中非常的重要的特征選擇環(huán)節(jié)是我們得到優(yōu)良分類器的重要前提。

發(fā)明內(nèi)容

針對(duì)以上缺點(diǎn)，本發(fā)明提出了一種大數(shù)據(jù)的二次特征選擇方法及裝置，能夠處理高維度、包含無關(guān)和冗余特征的數(shù)據(jù)，提高了算法通用度和系統(tǒng)的精確度。

本發(fā)明實(shí)施例提供了一種大數(shù)據(jù)的二次特征選擇方法，所述的方法包括：

S1：將數(shù)據(jù)集分離；

S2：利用ReliefF算法得到樣本的每個(gè)特征所對(duì)應(yīng)的權(quán)重；

S3：利用主成分分析法對(duì)各個(gè)特征加權(quán)；

S4：利用搜索算法去除冗余特征。

進(jìn)一步的，步驟S1中，將數(shù)據(jù)集分離后，不同類樣本之間的距離增大。

進(jìn)一步的，步驟S2的具體實(shí)現(xiàn)過程為：

選取樣本R的某個(gè)特征，在這個(gè)特征上分別計(jì)算樣本R和最近的相鄰的同類樣本H的距離D_(RH)，以及樣本R和最近的相鄰的不樣本M的距離D_(RM)；

判斷D_(RH)和D_(RM)的大小，若是D_(RH)小于D_(RM)，則給這個(gè)特征設(shè)置的權(quán)重要相應(yīng)的增大；若是D_(RH)大于D_(RM)，則給這個(gè)特征設(shè)置的權(quán)重要相應(yīng)的減少；

對(duì)于上述的過程要反復(fù)m次，最后通過計(jì)算得到每個(gè)特征的權(quán)重。

進(jìn)一步的，步驟S3的實(shí)現(xiàn)原理為：使用基于核函數(shù)的主成分分析法將非線性數(shù)據(jù)轉(zhuǎn)換為線性數(shù)據(jù)，然后再運(yùn)用主成分分析法求出最主要貢獻(xiàn)的特征。

進(jìn)一步的，步驟S3的具體實(shí)現(xiàn)過程為：

1)輸入數(shù)據(jù)S＝{x₁,x₂,…,x_l}，投影后數(shù)據(jù)的維度是k，x代表每一條特征的矩陣，L代表省略的特征對(duì)應(yīng)的矩陣,l代表特征的個(gè)數(shù)；

2)計(jì)算核矩陣：K＝(k_ij)_l×l，k_ij＝K(x_i,x_j)，i,j＝1,2,…,l；K代表核矩陣，k 是特征之間的內(nèi)積；