[發(fā)明專(zhuān)利]一種基于互信息和關(guān)聯(lián)規(guī)則的文本特征提取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710796425.1
• 申請(qǐng)日: 2017-09-06
• 公開(kāi)（公告）號(hào): CN107766323B
• 公開(kāi)（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 朱全銀;嚴(yán)云洋;胡榮林;李翔;瞿學(xué)新;唐海波;趙陽(yáng);高陽(yáng);錢(qián)凱
• 申請(qǐng)（專(zhuān)利權(quán)）人: 淮陰工學(xué)院
• 主分類(lèi)號(hào): G06F40/253
• 分類(lèi)號(hào): G06F40/253;G06F16/00
• 代理公司: 南京蘇高專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 梁耀文

1.一種基于互信息和關(guān)聯(lián)規(guī)則的文本特征提取方法，其特征在于，包括如下步驟：

步驟一：定義文本數(shù)據(jù)集和停用詞集，并對(duì)文本數(shù)據(jù)集中每個(gè)文本分詞、2-Gram方法和過(guò)濾停用詞來(lái)預(yù)處理，得到預(yù)處理后的文本訓(xùn)練集；

步驟二：通過(guò)改進(jìn)的互信息方法提取預(yù)處理后的文本訓(xùn)練集中每個(gè)詞的特征值，并將特征值降序排列，篩選出前m個(gè)詞，得到初始的文本特征集；

步驟三：通過(guò)FP-Growth方法，計(jì)算步驟一中得出的預(yù)處理后的文本訓(xùn)練集中每個(gè)詞的關(guān)聯(lián)規(guī)則，并以關(guān)聯(lián)規(guī)則去除步驟二中得出的初始的文本特征集中冗余的特征，使用One-hot方法和關(guān)聯(lián)規(guī)則對(duì)文本向量化表示，得到每個(gè)文本的向量化集；

其中所述步驟一中得到文本訓(xùn)練集的具體步驟如下：

步驟1.1：定義文本數(shù)據(jù)集Txt＝{p₁,p₂,p₃,……,p_num}和對(duì)應(yīng)Txt中每個(gè)文本類(lèi)別的標(biāo)簽集Y＝{y₁,y₂,y₃,……,y_num}，其中，第pi個(gè)文本p_pi對(duì)應(yīng)的類(lèi)別為Y_pi，num為文本數(shù)量，pi∈[1,num]；

步驟1.2：定義文本停用詞集SWORD＝{swd₁,swd₂,swd₃,……,swd_sw}；

步驟1.3：對(duì)Txt集中的每個(gè)文本分詞并過(guò)濾停用詞集SWORD，得到過(guò)濾停用詞后的文本集FTxt＝{ft₁,ft₂,ft₃,……,ft_num}，其中，ft_fi＝{fw₁,fw₂,fw₃,……,fw_s}為第fi篇文本p_fi分詞過(guò)濾后的詞集，fi∈[1,s]，s為FTxt中第fi篇文本的詞總數(shù)，fw₁,fw₂,fw₃,……,fw_s為詞集ft_fi中的詞；

步驟1.4：采用2-Gram方法對(duì)FTxt集中每個(gè)文本處理，得到文本訓(xùn)練集Gtrain＝{gt₁,gt₂,gt₃,……,gt_num}，其中，gt_gi＝{gw₁,gw₂,gw₃,……,gw_ns}為詞集ft_gi通過(guò)2-Gram方法處理后的Gram集，ns為文本訓(xùn)練集Gtrain中第gi篇中經(jīng)2-Gram方法處理后的總數(shù)，gw₁,gw₂,gw₃,……,gw_ns為Gram集gt_gi中的詞，nss，

所述步驟二中得到初始文本特征集的具體步驟如下：

步驟2.1：將步驟1.4得到的預(yù)處理后文本訓(xùn)練集Gtrain中每個(gè)文本去除重復(fù)詞，得到詞集Term，詞集的數(shù)量為n，并從步驟1.1中定義的類(lèi)別標(biāo)簽集Y中，得到文本的類(lèi)別集C；

步驟2.2：通過(guò)公式計(jì)算數(shù)據(jù)集Term中每個(gè)詞的特征值，并計(jì)算特征詞Term_i在類(lèi)別集C每個(gè)類(lèi)別下的特征值的方差其中，cn為第j個(gè)類(lèi)別C_j的文檔數(shù)，num為總的文檔數(shù)，a為含詞Term_i且是類(lèi)別C_j的文檔數(shù)量，b為含Term_i且不是C_j的文檔數(shù)量，為T(mén)erm_i在每個(gè)類(lèi)別出現(xiàn)的次數(shù)，為的方差，docn為含詞Term_i的文檔總數(shù)；

步驟2.3：根據(jù)特征值集W對(duì)特征詞集Term降序排列，選取前m個(gè)的特征，得到初始文本特征集SelT。

2.根據(jù)權(quán)利要求1所述的一種基于互信息和關(guān)聯(lián)規(guī)則的文本特征提取方法，其特征在于，所述步驟2.3中特征數(shù)量m的值設(shè)置為m≤0.3n。