[發(fā)明專利]一種基于多詞的文本表示策略的文本分類方法

在審

• 申請?zhí)枺?/td>: 201810279410.2
• 申請日: 2018-03-30
• 公開（公告）號: CN108536792A
• 公開（公告）日: 2018-09-14
• 發(fā)明（設(shè)計）人: 周武能;杜薇
• 申請（專利權(quán)）人: 東華大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海泰能知識產(chǎn)權(quán)代理事務(wù)所 31233
• 代理人: 宋纓;錢文斌

1.一種基于多詞的文本表示策略的文本分類方法，其特征在于，包括以下步驟：

(1)選取公開文本分類數(shù)據(jù)集并進行處理；

(2)對數(shù)據(jù)集中的文本進行多詞提取，儲存到語料庫；

(3)用不同的文本表示策略對多詞處理，形成文本完整的特征集，最后評估多詞在不同策略中表征的有效性。

2.根據(jù)權(quán)利要求1所述的基于多詞的文本表示策略的文本分類方法，其特征在于，所述步驟(1)中處理公開文本分類數(shù)據(jù)集時，采用信息增益參數(shù)去除非信息詞匯，降低空間維度，構(gòu)建較低空間維度級別的正交維度新特征。

3.根據(jù)權(quán)利要求1所述的基于多詞的文本表示策略的文本分類方法，其特征在于，所述步驟(1)中公開文本分類數(shù)據(jù)集采用reuters-21578。

4.根據(jù)權(quán)利要求1所述的基于多詞的文本表示策略的文本分類方法，其特征在于，所述步驟(2)中多詞提取采用正則表達式，并采用重復(fù)模式算法減少計算復(fù)雜度，提高分類精度，具體步驟如下：

(21)從訓(xùn)練集中取出兩個單個句子S₁和S₂；

(22)抽取單個句子S₂中的一個詞組；

(23)將抽取的詞組與單個句子S₁里的詞組逐詞對比；

(24)當(dāng)單個句子S₁中的詞組和單個句子S₂中對照的詞組一致時，則儲存到語料庫；

(25)重復(fù)步驟(22)，直到單個句子S₂中的詞組全部選取完畢；

(26)重復(fù)步驟(21)，直到訓(xùn)練集中的單句全部選取完畢；

(27)將以上步驟提取出的重復(fù)詞組，送入正則表達式，提取出多詞，其正則表達式計算式為((A|B)⁺|((A|N)^*(NP)^？(A|N)^*)N，其中，其中A是形容詞，N是名詞，P是介詞，“|”表示將兩個匹配條件進行邏輯“或”運算，“+”表示匹配前面的子表達式一次或多次，“*”表示匹配前面的子表達式任意次，“？”表示匹配前面的子表達式零次或一次。

5.根據(jù)權(quán)利要求1所述的基于多詞的文本表示策略的文本分類方法，其特征在于，所述步驟(3)中多詞處理的策略為分解策略，在這個策略中，只有短多字用來表示文本的一般概念，提出k-mismatch算法；所述分解策略的具體步驟如下：從語料庫中逐個獲取多詞；將復(fù)合長多詞分解為詞組；計算詞組出現(xiàn)頻率，詞組權(quán)重為詞組的出現(xiàn)頻率；將帶權(quán)重的詞組送入支持向量機進行文本分類。

6.根據(jù)權(quán)利要求1所述的基于多詞的文本表示策略的文本分類方法，其特征在于，所述步驟(3)中多詞處理的策略為組合策略，在這個策略中，只有長多字用來表示文本的一般概念，設(shè)置兩個參數(shù)以確定文檔中是否出現(xiàn)能夠代替組合單個詞組的多詞；所述組合策略的具體步驟如下：將語料庫所有的多詞分解成單個詞組，設(shè)為S＝{s₁,...,s_n}，S是單個詞組序列集合，s_i是第i個單個詞組；從語料庫中取出一個多詞，設(shè)為W＝{w₁,...,w_m}，W是一個多詞，w_i是W中的第i個單個詞組，并定義L_m＝{a_m，1，a_m，2，…，a_m,tm}，其中a_m,i表示集合S中的第m個出現(xiàn)w_m的位置；遍歷該多詞W的所有單個詞組w_i，如果單個詞組w_i出現(xiàn)在集合S中，則把單個詞組w_i存入集合W₀，計算比率OR＝|W₀|/|W|，|W₀|表示集合W₀單個詞組個數(shù)，|W|表示多次W單個詞組個數(shù)；遍歷集合W₀中所有的單個詞組w_i，計算單個詞組出現(xiàn)的距離，公式如下：|L_i|＝max{a_1，i，a_2，*i，…，a_m,*i}-min{a_1，i，a_2，*i，…，a_m,*i}；計算最小范圍MS＝min|L_i|，其中1≤i≤|W₀|；取語料庫的下一個多詞，重復(fù)上述步驟，直到計算出所有多詞的比率OR和最小范圍MS。