[發(fā)明專利]基于組合凸線性感知器的兩類文本分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201610083975.4
• 申請(qǐng)日: 2016-02-06
• 公開(kāi)（公告）號(hào): CN105760471B
• 公開(kāi)（公告）日: 2019-04-19
• 發(fā)明（設(shè)計(jì)）人: 李玉鑑;王曼麗
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

本發(fā)明公開(kāi)了一種基于組合凸線性感知器的兩類文本的分類方法。本發(fā)明包括：收集文本數(shù)據(jù)集，將其劃分為訓(xùn)練集和測(cè)試集；預(yù)處理數(shù)據(jù)集；提取總詞表并統(tǒng)計(jì)詞頻；對(duì)訓(xùn)練樣本集進(jìn)行特征選取，得到特征向量表；將數(shù)據(jù)集中的所有樣本特征項(xiàng)賦權(quán)值表示成向量；將所有數(shù)據(jù)降維到低維特征空間，得到組合凸線性感知器最終處理的數(shù)據(jù)；利用SMA算法構(gòu)造組合凸線性感知器，從而判斷測(cè)試樣本的類別。本發(fā)明結(jié)合tf*idf特征提取法和PCA降維方法，使用SMA算法進(jìn)行兩類文本分類，這是首次將組合凸線性感知器應(yīng)用到文本分類領(lǐng)域，非常具有獨(dú)創(chuàng)意義。

技術(shù)領(lǐng)域

本發(fā)明屬于電子信息技術(shù)領(lǐng)域，具體涉及一種組合凸線性感知器在兩類文本分類中的應(yīng)用及評(píng)測(cè)研究。

背景技術(shù)

文本分類是指使用計(jì)算機(jī)對(duì)文本自動(dòng)的進(jìn)行類別標(biāo)記的過(guò)程。它屬于監(jiān)督學(xué)習(xí)的范疇，基本思想如下：給定一個(gè)類別信息已知的訓(xùn)練文本集合，通過(guò)一定的訓(xùn)練模型訓(xùn)練出這些文本與類別間的一個(gè)關(guān)系模型，即具有某些特征的文本都會(huì)屬于同一個(gè)類別，然后根據(jù)這個(gè)訓(xùn)練出來(lái)的關(guān)系模型對(duì)待分類文本進(jìn)行分類。具體文本分類的過(guò)程如附圖1所示。其中，訓(xùn)練出一個(gè)恰當(dāng)?shù)匚谋咎卣髋c文本類別間的關(guān)系模型對(duì)分類效果的影響是至關(guān)重要的。目前，已經(jīng)存在多種較成熟的分類器，比如相似度計(jì)算法、樸素貝葉斯、支持向量機(jī)等。

分片線性分類器作為一種分類方法，提出時(shí)間早于支持向量機(jī)。分片線性分類器確定的決策面是由若干個(gè)超平面段組成，所以與一般超曲面相比，仍是簡(jiǎn)單易于實(shí)現(xiàn)的，且需要較少的內(nèi)存消耗。又由于它是由多段超平面組成的，所以它能逼近各種形狀的超曲面，具有很強(qiáng)的適應(yīng)能力。由于上述優(yōu)點(diǎn)，分片線性分類器已引起廣泛關(guān)注，許多設(shè)計(jì)分片線性分類器的方法被提出。如線性規(guī)劃的方法，決策樹方法，甚至經(jīng)典的最近鄰方法也可看作分片線性分類器的特殊形式。然而，目前人們對(duì)于分片線性分類器的研究尚未應(yīng)用到文本分類領(lǐng)域。因此，對(duì)于這些分片線性分類器應(yīng)用于文本分類的效果，有待進(jìn)一步的評(píng)測(cè)研究。

本發(fā)明題主要研究將分片線性分類器中的組合凸線性感知器模型應(yīng)用到文本分類領(lǐng)域，說(shuō)明所構(gòu)造的組合凸線性感知器在文本分類中的性能。同時(shí)，由于是首次將組合凸線性感知器應(yīng)用到文本分類中進(jìn)行評(píng)測(cè)研究。因此，本發(fā)明對(duì)于組合凸線性感知器在文本分類領(lǐng)域中的應(yīng)用具有重要意義。最后，本發(fā)明也說(shuō)明了實(shí)現(xiàn)組合凸線性感知器的SMA算法雖然能夠有效對(duì)兩類文本進(jìn)行分類，但是不適用于海量數(shù)據(jù)和高維空間。

發(fā)明內(nèi)容

本發(fā)明提出了將組合凸線性感知器(Multiconlitron，MCLP)應(yīng)用于兩類文本分類的方法，即使用支持組合凸線性感知器算法(Support Multiconlitron Algorithm，SMA)構(gòu)造組合凸線性感知器，從而判斷文本的類別。其中，組合凸線性感知器是指由若干個(gè)凸線感知器構(gòu)成的分類器，凸線性感知器是指由若干個(gè)線性函數(shù)構(gòu)成的分類器。顯然，本發(fā)明使用的SMA算法不同于以往常規(guī)的兩類分類算法，它的基本目標(biāo)是找出多組線性判別函數(shù)構(gòu)造的組合凸線器。以下，本發(fā)明統(tǒng)一將“凸線性感知器”簡(jiǎn)稱為“凸線器”，將“組合凸線性感知器”簡(jiǎn)稱為“組合凸線器”。

SMA算法的主要目標(biāo)是找到一個(gè)組合凸線器，它包含若干個(gè)凸線器，每個(gè)凸線器又包含了若干個(gè)線性函數(shù)。因此，對(duì)于數(shù)據(jù)集X和Y，該組合凸線器的求解過(guò)程，即首先通過(guò)求Y中單個(gè)點(diǎn)距整個(gè)X集的最近點(diǎn)對(duì)，獲得最近點(diǎn)對(duì)連線的垂直平分面作為一個(gè)線性判斷函數(shù)，每獲得一個(gè)線性判斷函數(shù)，就將X中已正確劃分類別的數(shù)據(jù)去除，形成新的X集，再求Y中單個(gè)點(diǎn)距整個(gè)新X集的最近點(diǎn)對(duì)，獲得新的一個(gè)線性函數(shù)，再次去除X中已正確劃分類別的數(shù)據(jù)，如此迭代，最后X集為空，得到的這些線性函數(shù)便構(gòu)成了第一個(gè)凸線器。如果該凸線器未能將Y集劃分為空，說(shuō)明至少存在另一個(gè)凸線器，在Y集未正確劃分的部分，再選取一個(gè)點(diǎn)，繼續(xù)對(duì)原來(lái)整個(gè)完整的X集作劃分，如此迭代，直到最后Y集也為空，獲得的若干個(gè)凸線器，即最終的組合凸線器。