[發(fā)明專利]一種基于并行化噪音消除的文本分類方法

在審

• 申請?zhí)枺?/td>: 201811328975.1
• 申請日: 2018-11-09
• 公開（公告）號: CN109299275A
• 公開（公告）日: 2019-02-01
• 發(fā)明（設(shè)計）人: 邱寧佳;胡小娟;薛麗嬌;王鵬;楊華民
• 申請（專利權(quán)）人: 長春理工大學(xué)
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F17/27
• 代理公司: 吉林長春新紀(jì)元專利代理有限責(zé)任公司 22100
• 代理人: 王薇

1.一種基于并行化噪音消除的文本分類方法，首先利用兩階段的特征篩選得到關(guān)鍵特征集，然后根據(jù)歷史錯誤特征集和所得關(guān)鍵特征集進(jìn)行文本的類別判定，最后對所得文本類別進(jìn)行了評估驗證；具體步驟為：

S1、將所給文本集T中的任一文本T_i進(jìn)行文本預(yù)處理和文本表示，T＝{T₁,T₂,…,T_M}，M表示文本集中的文本總數(shù)，并建立其對應(yīng)的原始特征集F_i；

S2、根據(jù)原始特征集F_i，基于主成分分析方法，計算每個特征f_ij的重要度，并進(jìn)行首次特征篩選，得備用特征集F_i’；

S3、利用詞頻-逆文檔頻率方法將備用特征集F_i’進(jìn)行二次特征篩選，構(gòu)建最終的關(guān)鍵特征集KF_i；

S4、根據(jù)關(guān)鍵特征集KF_i計算文本的目標(biāo)類別c_j，并利用歷史錯誤特征集S檢測特征與類別不一致的情況，并按照淘汰閾值標(biāo)記淘汰分類器；

S5、輸出目標(biāo)類別c_j和歷史錯誤特征集S。

2.根據(jù)權(quán)利要求1所述的一種基于并行化噪音消除的文本分類方法，其特征在于所述的步驟S1具體包括：

S11、去除文本標(biāo)記，進(jìn)行詞分割；

S12、去除刪除停用詞；

S13、建立原始特征集F_i。

3.根據(jù)權(quán)利要求1所述的一種基于并行化噪音消除的文本分類方法，其特征在于所述的步驟S2包括：

S21、將原始特征集符號化為F_i＝{f_i1,f_i2,…,f_iN}，N表示特征集中的特征總數(shù)，其中f_ij表示任一特征，1≤i≤M，1≤j≤N；

S22、設(shè)定原始特征集F_i為一個列向量A＝(f_i1,f_i2,…,f_iN)^T，計算向量A的協(xié)方差矩陣Z＝AA^T，并求解A對應(yīng)的特征值λ_j和特征向量p_j；

S23、組織Map函數(shù)為：Map<Key:λ_j+p_j+f_ij,Value:principalvalue>；

S24、組織Reduce函數(shù)為：Reduce<Key:λ_j+p_j+f_ij,Value:principalvalue>；

S25、取累積貢獻(xiàn)率取前k(1≤k≤N)個特征組成備用特征集F_i’，F(xiàn)_i’＝{f_i1,f_i2,…,f_ik}，1≤k≤N。

4.根據(jù)權(quán)利要求1所述的一種基于并行化噪音消除的文本分類方法，其特征在于所述的步驟S3包括：

S31、根據(jù)如下公式計算備用特征集F_i’中的各個特征的權(quán)重值；

其中，tf_i,j表示特征i在文本j中的詞頻，m_i表示文本集中包含特征i的文本個數(shù)，M是指文本集中的文本總數(shù)；

S32、組織Map函數(shù)為：Map<Key:tf_ij+idf_j+f_ij,Value:tfidfvalue>；

S33、組織Reduce函數(shù)為：Reduce<Key:tf_ij+idf_j+f_ij,Value:tfidfvalue>；

S34、得所有特征的權(quán)重值，并將權(quán)重值大于權(quán)重閾值的特征放入關(guān)鍵特征集KF_i中，實驗中權(quán)重閾值設(shè)定為最高權(quán)重值的20％。