[發明專利]文本分類方法及裝置

有效

• 申請號: 202110552068.0
• 申請日: 2021-05-20
• 公開（公告）號: CN112989761B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 劉志煌
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/117
• 分類號: G06F40/117;G06F40/216;G06F40/258;G06F40/289;G06F16/33;G06F16/35;G06N3/02;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;賈允

本申請提供一種文本分類方法及裝置，涉及人工智能領域的自然語言處理技術和深度學習技術，該方法包括：獲取待分類文本和預設文本庫；對待分類文本進行分詞和詞性標注處理，得到多個分詞結果和每個分詞結果對應的詞性標注結果；將每個分詞結果與預設文本庫相匹配，基于匹配結果和詞性標注結果確定目標分詞結果以及目標分詞結果對應的第一權重信息；基于第一權重信息，確定多個分詞結果中除目標分詞結果之外的其他分詞結果對應的第二權重信息；根據第一權重信息和第二權重信息，得到待分類文本的文本特征信息；基于文本分類模型對文本特征信息進行相關性識別處理，得到待分類文本的文本分類結果。本申請能夠提高文本分類的準確率和效率。

技術領域

本申請屬于計算機技術領域，具體涉及一種文本分類方法及裝置。

背景技術

文本（比如，公文文本）分類是自然語言處理中的一項基礎任務。相關技術中通常采用基于模板的文本分類方法、基于信息檢索的文本主題分類方法、基于文本相似性的分類方法對文本進行分類。

基于模板的文本分類方法對規則和模板依賴較大，在文本分類過程中會消耗較多的系統資源，且構建的規則的泛化能力較低，通用性不足，導致文本分類準確率較低。基于信息檢索的文本主題分類方法通過訓練分類模型進行檢索和分類，但是文本分類是多分類問題，多類別數據不均衡使得分類模型預測的準確率較低。基于文本相似性的分類方法將直接對文本進行句子相似度計算所得到的結果作為文本分類的依據，然而該方法忽略了文本本身的內容之間的相似性，且沒有將文本的關鍵信息區分處理，導致文本分類準確率較低。

發明內容

為了解決上述技術問題，本申請提供一種文本分類方法及裝置。

一方面，本申請提出了一種文本分類方法，所述方法包括：

獲取待分類文本和預設文本庫；

對所述待分類文本進行分詞和詞性標注處理，得到所述待分類文本的多個分詞結果和每個分詞結果對應的詞性標注結果；

將每個分詞結果與所述預設文本庫相匹配，基于匹配結果和所述詞性標注結果從所述多個分詞結果中確定出目標分詞結果以及所述目標分詞結果在所述待分類文本中的第一權重信息；

基于所述第一權重信息，確定所述多個分詞結果中除所述目標分詞結果之外的其他分詞結果在所述待分類文本中的第二權重信息；

根據所述第一權重信息和所述第二權重信息，對所述目標分詞結果的特征信息和所述其他分詞結果的特征信息進行加權，得到所述待分類文本的文本特征信息；

基于文本分類模型對所述文本特征信息進行相關性識別處理，得到所述待分類文本的文本分類結果，所述文本分類模型基于標注有類別標簽的樣本文本對神經網絡進行文本相關性學習得到。

另一方面，本申請實施例提供了一種文本分類裝置，所述裝置包括：

獲取模塊，用于獲取待分類文本和預設文本庫；

分詞和詞性標注模塊，用于對所述待分類文本進行分詞和詞性標注處理，得到所述待分類文本的多個分詞結果和每個分詞結果對應的詞性標注結果；

第一權重信息確定模塊，用于將每個分詞結果與所述預設文本庫相匹配，基于匹配結果和所述詞性標注結果從所述多個分詞結果中確定出目標分詞結果以及所述目標分詞結果在所述待分類文本中的第一權重信息；

第二權重信息確定模塊，用于基于所述第一權重信息，確定所述多個分詞結果中除所述目標分詞結果之外的其他分詞結果在所述待分類文本中的第二權重信息；

加權模塊，用于根據所述第一權重信息和所述第二權重信息，對所述目標分詞結果的特征信息和所述其他分詞結果的特征信息進行加權，得到所述待分類文本的文本特征信息；