[發明專利]一種基于廣義特征詞庫的公共數據分級方法

在審

• 申請號: 202010066137.2
• 申請日: 2020-01-20
• 公開（公告）號: CN111309904A
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 陳磊;劉迎風;儲昭武;管紅;潘佳;唐若培;徐潔
• 申請（專利權）人: 上海市大數據中心
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 上海申新律師事務所 31272
• 代理人: 吳軼淳

本發明涉及自然語言處理技術領域，具體涉及一種基于廣義特征詞庫的公共數據分級方法，包括：步驟S1，建立廣義特征詞庫；步驟S2，對待分類文本進行預處理，并調用所述廣義特征詞庫對預處理后的所述待分類文本進行正則匹配，生成新待分類文本，得到所述新待分級文本的多分級標簽；步驟S3，運用分詞工具對所述新待分類文本進行分詞，得到文本詞集；對所述文本詞集進行分字處理，形成字符，通過TF?IDF算法將所述字符轉換成特征向量矩陣；步驟S4，將所述特征向量矩陣輸入到一文本分類器中，生成文本分級模型,并輸出所述待分級文本的分級結果。本發明可以大大提高公共數據分級效率、速度和準確率。

技術領域

本發明涉及自然語言處理技術領域，尤其涉及一種基于廣義特征詞庫的公共數據分級方法。

背景技術

隨著城市數字化轉型的推進以及公共數據的集中統一管理，公共數據的分級分類問題急需破題，尤其是對公共數據目錄的安全分級，明確哪些數據可以無條件共享開放，哪些數據根據個人隱私、核心商業機密或相關法律法規規定適用有條件共享開放或者不開放不共享，從而結合不同的應用場景開展數據授權及共享開放，實現數據賦能城市管理、形成數據運營生態。在公共數據的分級過程中，目前主要憑借專業人員的知識背景及查閱相關規定進行人工分級，這種人工分級方式依賴于工作人員的能力，且工作量巨大、效率較低。

因此，提出一種基于人工智能中自然語言處理領域的文本分類技術，能夠大大提高公共數據分級的效率和速度，同時提高分類的準確率。

現階段有關文本分類技術的實現方法，主要分為統計學習方法和深度學習方法。前者主要以特征選擇方法為主,通過諸如TF-IDF(term frequency-inverse documentfrequency,信息檢索數據挖掘的常用加權技術)、PMI(Purchasing Managers'Index，采購經理指數)、卡方值等指標對文本的詞、句級別特征進行選擇,得到代表文本的特征向量,并用機器學習的方法得出該特征向量之于各標簽的概率,作為最終的分類標準；后者則以模型構建為主,將文本的離散信息作為輸入,通過多層神經網絡的串、并聯結構,輔以反向傳播算法更新網絡權重,直接得到該文本之于各標簽的概率。

但是，公共數據分級中，不僅需要在分級好的數據描述中提取特征詞，還需要在相關法律條文中提取特征詞，并且適當增加這些特征詞的權重。因此，這里提出一種專門用以對公共數據分級的文本分類方法。

發明內容

為了解決以上技術問題，本發明提供了一種基于廣義特征詞庫的公共數據分級方法。

本發明所解決的技術問題可以采用以下技術方案來實現：

一種基于廣義特征詞庫的公共數據分級方法，其特征在于，包括：

步驟S1，建立廣義特征詞庫；

步驟S2，通過所述廣義特征詞庫對待分類文本進行預處理，并調用所述廣義特征詞庫對預處理后的所述待分類文本進行正則匹配，生成新待分類文本，得到所述新待分級文本的多分級標簽；

步驟S3，運用分詞工具對所述新待分類文本進行分詞，得到文本詞集；對所述文本詞集進行分字處理，形成字符，通過TF-IDF算法將所述字符轉換成特征向量矩陣；

步驟S4，將所述特征向量矩陣輸入到一文本分類器中，生成文本分級模型,并輸出所述待分級文本的分級結果。

優選的，所述步驟S1包括：

步驟S10，獲取語料，清除所述語料中的同質化數據；

步驟S11，對清除同質化數據后的語料進行分類；

步驟S12，對分類后的所述語料中的數據進行排序；

步驟S13，提取排序后的所述語料中的前N個數據，并將所述前N個數據存儲在文檔中，N大于1；