[發(fā)明專利]一種基于廣義特征詞庫的公共數據分級方法

在審

• 申請?zhí)枺?/td>: 202010066137.2
• 申請日: 2020-01-20
• 公開（公告）號: CN111309904A
• 公開（公告）日: 2020-06-19
• 發(fā)明（設計）人: 陳磊;劉迎風;儲昭武;管紅;潘佳;唐若培;徐潔
• 申請（專利權）人: 上海市大數據中心
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 上海申新律師事務所 31272
• 代理人: 吳軼淳

1.一種基于廣義特征詞庫的公共數據分級方法，其特征在于，包括：

步驟S1，建立廣義特征詞庫；

步驟S2，通過所述廣義特征詞庫對待分類文本進行預處理，并調用所述廣義特征詞庫對預處理后的所述待分類文本進行正則匹配，生成新待分類文本，得到所述新待分級文本的多分級標簽；

步驟S3，運用分詞工具對所述新待分類文本進行分詞，得到文本詞集；對所述文本詞集進行分字處理，形成字符，通過TF-IDF算法將所述字符轉換成特征向量矩陣；

步驟S4，將所述特征向量矩陣輸入到一文本分類器中，生成文本分級模型,并輸出所述待分級文本的分級結果。

2.根據權利要求1所述的一種基于廣義特征詞庫的公共數據分級方法，其特征在于，所述步驟S1包括：

步驟S10，獲取語料，清除所述語料中的同質化數據；

步驟S11，對清除同質化數據后的語料進行分類；

步驟S12，對分類后的所述語料中的數據進行排序；

步驟S13，提取排序后的所述語料中的前N個數據，并將所述前N個數據存儲在文檔中，N大于1；

步驟S14，對所述文檔進行處理，以建立所述廣義特征詞庫。

3.根據權利要求1所述的一種基于廣義特征詞庫的公共數據分級方法，其特征在于，所述步驟S10中，從公共數據中獲取大量文本數據作為所述語料，并預設N值清除所述語料中的同質化數據。

4.根據權利要求1所述的一種基于廣義特征詞庫的公共數據分級方法，其特征在于，所述步驟S2中對所述待分類文本進行預處理包括：去除所述待分類文本中的敏感詞、亂碼以及標點符號，用以去除所述待分類文本中的冗余部分。

5.根據權利要求1所述的一種基于廣義特征詞庫的公共數據分級方法，其特征在于，所述步驟S3中采用結巴分詞方法對所述新待分類文本進行分詞。

6.根據權利要求5所述的一種基于廣義特征詞庫的公共數據分級方法，其特征在于，所述結巴分詞方法為對所述新待分類文本中的句子進行全切分，生成所述文本詞集。

7.根據權利要求1所述的一種基于廣義特征詞庫的公共數據分級方法，其特征在于，所述步驟S3中，對所述文本詞集以空格為停止符一一分割，形成所述字符，讀取所述新待分類文本中每一行的所述字符，并通過所述TF-IDF算法計算出每一個所述字符出現(xiàn)的頻數，建立所述特征向量矩陣。

8.根據權利要求1所述的一種基于廣義特征詞庫的公共數據分級方法，其特征在于，所述步驟S4中，將所述特征向量矩陣轉換為所述文本分類器的一個輸入向量，并將所述多分類標簽轉換為所述文本分類器的另一個輸入向量，通過調用所述文本分類器訓練算法，生成所述文本分級模型，并輸出所述待分類文本的分級結果。

9.根據權利要求1所述的一種基于廣義特征詞庫的公共數據分級方法，其特征在于，所述分級結果為所述待分類文本分類的準確率和TopN排序。

10.根據權利要求1所述的一種基于廣義特征詞庫的公共數據分級方法，其特征在于，所述文本分類器為支持向量機分類器。