[發明專利]主題類別對應的特征詞提取和文本主題類別識別方法

在審

• 申請號: 202011430233.7
• 申請日: 2020-12-09
• 公開（公告）號: CN112528022A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 康鑫;孫艷;隗艷萍
• 申請（專利權）人: 廣州摩翼信息科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/284
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 馮右明

本申請涉及一種主題類別對應的特征詞提取和文本主題類別識別方法。所述方法包括：獲取多個主題類別的示例文本，以及各個主題類別的示例文本的類別標簽；對各個主題類別的示例文本進行分詞處理，并對分詞處理得到的各個詞語分別進行詞頻統計，得到各個主題類別對應的多個詞語的詞頻信息；針對各個主題類別，根據所述多個詞語在本主題類別中的詞頻信息，以及在多個主題類別中的分布情況，從所述多個詞語中篩選出至少一個特征詞語，作為對應主題類別的特征詞語；所述特征詞語為在所述對應主題類別的示例文本中構成的顯著性差異達到設定條件的詞語。采用本方法能夠提高特征詞提取效率。

技術領域

本申請涉及自然語言處理技術領域，特別是涉及一種主題類別對應的特征詞提取、文本主題類別識別方法、裝置、計算機設備和存儲介質。

背景技術

隨著大數據和云計算等現代信息技術的發展，出現了海量的文本資源，對海量文本的主題類別進行自動識別，可以為從海量的文本資源中準確、快速、全面地找到所需文本提供技術支撐，在數字化圖書館、輿情分析、新聞推薦、郵件過濾等領域有著廣泛應用。

在識別文本主題類別的過程中，通常需要提取能夠體現文本主題類別的特征詞，目前的特征詞提取方法有人工提取方法、基于詞頻統計的方法和基于機器學習的方法，其中，人工提取方法提取效率較低，難以從海量文本資源中進行提取；基于詞頻統計的方法所提取的特征詞數量通常較多，在進行文本主題類別識別時存在多個特征之間的相互干擾，容易導致識別準確率降低；基于機器學習的方法可以滿足準確率的要求，但對訓練文本的規模有較高要求，且需要根據具體主題劃分的類別對訓練模型的參數進行針對性調整，容易導致特征詞提取效率較低。

因此，目前應用于海量文本資源的特征詞提取方法存在效率較低的問題。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提高特征詞提取效率的主題類別對應的特征詞提取方法和裝置、一種文本主題類別識別方法和裝置、計算機設備和存儲介質。

一種主題類別對應的特征詞提取方法，所述方法包括：

獲取多個主題類別的示例文本，以及各個主題類別的示例文本的類別標簽；

對各個主題類別的示例文本進行分詞處理，并對分詞處理得到的各個詞語分別進行詞頻統計，得到各個主題類別對應的多個詞語的詞頻信息；

針對各個主題類別，根據所述多個詞語在本主題類別中的詞頻信息，以及在多個主題類別中的分布情況，從所述多個詞語中篩選出至少一個特征詞語，作為對應主題類別的特征詞語；所述特征詞語為在所述對應主題類別的示例文本中構成的顯著性差異達到設定條件的詞語。

在其中一個實施例中，所述針對各個主題類別，根據所述多個詞語在本主題類別中的詞頻信息，以及在多個主題類別中的分布情況，從所述多個詞語中篩選出至少一個特征詞語，作為對應主題類別的特征詞語，包括：

針對某個主題類別，根據各個詞語的詞頻信息，得到各個詞語在所述某個主題類別的示例文本包含的詞語中所占的比例，從所述多個詞語中確定出所述比例靠前的設定數量的詞語，作為備選特征詞語；

針對所述備選特征詞語，獲取其在所述多個主題類別中的類平均詞頻及類樣本標準差，并基于所述備選特征詞語的所述類平均詞頻及類樣本標準差，確定其作為所述某個主題類別的特征詞語的顯著性特征分值；所述顯著性特征分值的絕對值越大，與所述備選特征詞語在主題類別的示例文本中構成的顯著性差異越大；

根據所述顯著性特征分值，從設定數量的所述備選特征詞語中，確定出所述顯著性特征分值靠前的至少一個，作為所述某個主題類別對應的至少一個特征詞語。

在其中一個實施例中，所述針對所述備選特征詞語，獲取其在所述多個主題類別中的類平均詞頻及類樣本標準差，包括：

通過對所述備選特征詞語在所述各個主題類別中的詞頻信息求平均，得到所述類平均詞頻。