[發明專利]一種文件分類方法、系統及一種文件分類設備

在審

• 申請號: 201711091476.0
• 申請日: 2017-11-08
• 公開（公告）號: CN107862051A
• 公開（公告）日: 2018-03-30
• 發明（設計）人: 畢銀龍
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

技術領域

本發明涉及文本分類技術領域，更具體地說，涉及一種文件分類方法、系統及一種文件分類設備和一種計算機可讀存儲介質。

背景技術

在當今大數據背景下，海量的數據信息充斥在網絡上，如何利用這些數據、對數據進行二次加工處理，挖掘出有用的信息來創造價值是目前大數據、數據挖掘領域的研究熱點。而通過分類算法將用戶感興趣的數據識別出來是進行數據挖掘一個常用手段。

現有技術中的文本分類方法主要包括：分詞、提取特征、文本向量化表示、訓練分類模型、預測分類。而對分類過程的改進點主要集中在特征提取、文本的向量化表示方法、分類算法上。特征提取主要方法主要包括：TF、TF-IDF、信息增益等；向量化表示主要有：向量空間模型(VMS)、詞向量、主體模型等；分類算法主要有：樸素貝葉斯、LOGISTIC、SVM、RANDOMFOREST、神經網絡等。目前關于文本分類研究較多的分類算法主要集中在使用word2vector產生特征項的低維詞向量化表示文本，然后使用深度學習模型進行分類。

因此，如何實現文本從預處理到分類結果的輸出一體化是本領域技術人員需要解決的問題。

發明內容

本發明的目的在于提供一種文件分類方法、系統及一種文件分類設備和一種計算機可讀存儲介質，實現了文本從預處理到分類結果的輸出一體化。

為實現上述目的，本發明實施例提供了一種文件分類方法，包括：

將采集到的文本進行預處理，并將經過預處理的文本進行分詞處理，得到詞語序列；

去除所述詞語序列中的停用詞，得到當前詞語序列，并將所述當前詞語序列中TF-IDF權重大于預設值的特征詞添加至語料詞典中；

利用VSM模型對所述語料詞典中的特征詞進行向量化表示，得到向量矩陣；

將所述向量矩陣輸入分類模型中訓練所述分類模型，以便對未知文本進行分類。

其中，還包括：

將未知文本經過預處理、分詞處理和去除停用詞處理后，輸入所述訓練完成的分類模型中，以便所述訓練完成的分類模型輸出所述未知文本的類別。

其中，所述將采集到的文本進行預處理，包括：

將采集到的文本去除非主要文本；

其中，所述非主要文本包括非文本數據和/或干擾數據項。

其中，所述將當前的詞語序列中TF-IDF權重大于預設值的特征詞添加至語料詞典中，包括：

計算當前的詞語序列中每個特征詞的TF和IDF，所述TF為所述特征詞在當前文本中的詞頻，IDF為包含所述特征詞的文本數的倒數；

將所述TF與所述IDF的乘積作為所述特征詞的TF-IDF權重；

判斷所述TF-IDF權重是否大于所述預設值，若是，則將所述特征詞添加至語料詞典中。

為實現上述目的，本發明實施例提供了一種文件分類系統，包括：

預處理模塊，用于將采集到的文本進行預處理，并將經過預處理的文本進行分詞處理，得到詞語序列；

添加模塊，用于去除所述詞語序列中的停用詞，得到當前詞語序列，并將所述當前詞語序列中TF-IDF權重大于預設值的特征詞添加至語料詞典中；

向量化模塊，用于利用VSM模型對所述語料詞典中的特征詞進行向量化表示，得到向量矩陣；

訓練模塊，用于將所述向量矩陣輸入分類模型中訓練所述分類模型，以便對未知文本進行分類。

其中，還包括：

輸入模塊，用于將未知文本經過預處理、分詞處理和去除停用詞處理后，輸入所述訓練完成的分類模型中，以便所述訓練完成的分類模型輸出所述未知文本的類別。

其中，所述預處理模塊具體包括：

第一去除單元，用于將采集到的文本去除非主要文本，其中，所述非主要文本包括非文本數據和/或干擾數據項；

分詞單元，用于將經過預處理的文本進行分詞處理，得到詞語序列。

其中，所述添加模塊具體包括：

第二去除單元，用于去除所述詞語序列中的停用詞；

計算單元，用于計算當前的詞語序列中每個特征詞的TF和IDF，所述TF為所述特征詞在當前文本中的詞頻，IDF為包含所述特征詞的文本數的倒數；

確定單元，用于將所述TF與所述IDF的乘積作為所述特征詞的TF-IDF權重；

判斷單元，用于判斷所述TF-IDF權重是否大于所述預設值，若是，則將所述特征詞添加至語料詞典中。

為實現上述目的，本發明實施例提供了一種文件分類設備，包括：

存儲器，用于存儲文件分類程序；