[發明專利]一種基于自然語言預處理的公共數據分級方法

在審

• 申請號: 202010066138.7
• 申請日: 2020-01-20
• 公開（公告）號: CN111274399A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 陳磊;劉迎風;儲昭武;管紅;潘佳;唐若培;徐潔
• 申請（專利權）人: 上海市大數據中心
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30;G06F40/289;G06F40/211
• 代理公司: 上海申新律師事務所 31272
• 代理人: 吳軼淳

1.一種基于自然語言預處理的公共數據分級方法，其特征在于，包括：

步驟S1，對公共數據進行自然語言處理方法的分析，得到關于所述公共數據的詞集合和語義標注結果；

步驟S2，對于所述詞集合和所述語義標注結果按照多種規則組合,得到所述公共數據所包含的語義信息的向量化表征形式；

步驟S3，利用分類系統對得到的所述公共數據所包含的語義信息的向量化表征形式分類計算概率估計值；

步驟S4，根據所述概率估計值將所述概率估計值中最大項對應的數據敏感程度作為所述公共數據的分級標簽。

2.根據權利要求1所述的一種基于自然語言預處理的公共數據分級方法，其特征在于，所述步驟S1中的所述詞集合為將所述公共數據以詞為單位進行分詞和詞性標注并得到所述詞集合，并根據一停用詞詞表，去除所述詞集合中的停用詞。

3.根據權利要求2所述的一種基于自然語言預處理的公共數據分級方法，其特征在于，所述停用詞詞表是根據所述詞集合和所述語義標注結果中的分詞和詞性標注結果將出現次數過高的虛詞作為停用詞而生成。

4.根據權利要求1所述的一種基于自然語言預處理的公共數據分級方法，其特征在于，所述步驟2中通過抽取n元語法離散特征、抽取依存三元組特征、抽取詞向量分布式特征中的至少一種向量化方式對所述公共數據的所述詞集合和所述語義標注結果進行向量化。

5.根據權利要求4所述的一種基于自然語言預處理的公共數據分級方法，其特征在于，所述抽取n元語法離散特征為從所述詞集合中抽取一個單詞連續出現的集合、兩個單詞連續出現的集合以及三個單詞連續出現的集合，形成一n元語法索引表，并根據所述n元語法索引表將所述詞集合出現高的語法添加到所述n元語法索引表中作為所述n元語法離散特征。

6.根據權利要求4所述的一種基于自然語言預處理的公共數據分級方法，其特征在于，所述抽取依存三元組特征為將去除了所述停用詞的所述詞集合以句為單位進行依存句法分析,并根據依存關系將所述詞集合的依存關系集合作為依存三元組特征。

7.根據權利要求4所述的一種基于自然語言預處理的公共數據分級方法，其特征在于，所述抽取詞向量分布式特征為將去除了所述停用詞的所述詞集合進行詞向量檢索匹配,并將所述詞向量的每一維度進行最大值、最小值、平均值計算，生成三個新的特征向量作為所述詞向量分布式特征。

8.根據權利要求1所述的一種基于自然語言預處理的公共數據分級方法，其特征在于，所述步驟S3包括：

步驟S30，將向量化的所述詞集合的結果進行拼接；

步驟S31，將所述拼接后的向量化的所述詞集合作為規定所述分類系統的輸入；

步驟S32，所述分類系統根據所述分類系統的輸入計算得到所述概率估計值并輸出。

9.根據權利要求1所述的一種基于自然語言預處理的公共數據分級方法，其特征在于，所述分類系統為神經網絡、支持向量機、邏輯回歸分類系統中的一種。