[發明專利]一種文件分類方法、系統及一種文件分類設備

在審

• 申請號: 201711091476.0
• 申請日: 2017-11-08
• 公開（公告）號: CN107862051A
• 公開（公告）日: 2018-03-30
• 發明（設計）人: 畢銀龍
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

1.一種文件分類方法，其特征在于，包括：

將采集到的文本進行預處理，并將經過預處理的文本進行分詞處理，得到詞語序列；

去除所述詞語序列中的停用詞，得到當前詞語序列，并將所述當前詞語序列中TF-IDF權重大于預設值的特征詞添加至語料詞典中；

利用VSM模型對所述語料詞典中的特征詞進行向量化表示，得到向量矩陣；

將所述向量矩陣輸入分類模型中訓練所述分類模型，以便對未知文本進行分類。

2.根據權利要求1所述文件分類方法，其特征在于，還包括：

將未知文本經過預處理、分詞處理和去除停用詞處理后，輸入所述訓練完成的分類模型中，以便所述訓練完成的分類模型輸出所述未知文本的類別。

3.根據權利要求1所述文件分類方法，其特征在于，所述將采集到的文本進行預處理，包括：

將采集到的文本去除非主要文本；

其中，所述非主要文本包括非文本數據和/或干擾數據項。

4.根據權利要求1-3任一項所述文件分類方法，其特征在于，所述將當前的詞語序列中TF-IDF權重大于預設值的特征詞添加至語料詞典中，包括：

計算當前的詞語序列中每個特征詞的TF和IDF，所述TF為所述特征詞在當前文本中的詞頻，IDF為包含所述特征詞的文本數的倒數；

將所述TF與所述IDF的乘積作為所述特征詞的TF-IDF權重；

判斷所述TF-IDF權重是否大于所述預設值，若是，則將所述特征詞添加至語料詞典中。

5.一種文件分類系統，其特征在于，包括：

預處理模塊，用于將采集到的文本進行預處理，并將經過預處理的文本進行分詞處理，得到詞語序列；

添加模塊，用于去除所述詞語序列中的停用詞，得到當前詞語序列，并將所述當前詞語序列中TF-IDF權重大于預設值的特征詞添加至語料詞典中；

向量化模塊，用于利用VSM模型對所述語料詞典中的特征詞進行向量化表示，得到向量矩陣；

訓練模塊，用于將所述向量矩陣輸入分類模型中訓練所述分類模型，以便對未知文本進行分類。

6.根據權利要求5所述文件分類系統，其特征在于，還包括：

輸入模塊，用于將未知文本經過預處理、分詞處理和去除停用詞處理后，輸入所述訓練完成的分類模型中，以便所述訓練完成的分類模型輸出所述未知文本的類別。

7.根據權利要求5所述文件分類系統，其特征在于，所述預處理模塊具體包括：

第一去除單元，用于將采集到的文本去除非主要文本，其中，所述非主要文本包括非文本數據和/或干擾數據項；

分詞單元，用于將經過預處理的文本進行分詞處理，得到詞語序列。

8.根據權利要求5-7任一項所述文件分類系統，其特征在于，所述添加模塊具體包括：

第二去除單元，用于去除所述詞語序列中的停用詞；

計算單元，用于計算當前的詞語序列中每個特征詞的TF和IDF，所述TF為所述特征詞在當前文本中的詞頻，IDF為包含所述特征詞的文本數的倒數；

確定單元，用于將所述TF與所述IDF的乘積作為所述特征詞的TF-IDF權重；

判斷單元，用于判斷所述TF-IDF權重是否大于所述預設值，若是，則將所述特征詞添加至語料詞典中。

9.一種文件分類設備，其特征在于，包括：

存儲器，用于存儲文件分類程序；

處理器，用于執行所述文件分類程序時實現如權利要求1至4任一項所述文件分類方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有文件分類程序，所述文件分類程序被處理器執行時實現如權利要求1至4任一項所述文件分類方法。