[發明專利]文本分類模型構建、文本分類方法及裝置

在審

• 申請號: 202110322136.4
• 申請日: 2021-03-25
• 公開（公告）號: CN112948586A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 謝先招;向修海
• 申請（專利權）人: 武漢優品楚鼎科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/242;G06F40/30;G06N20/00
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 盛明星

本發明提供一種文本分類模型構建、文本分類方法及裝置，所述文本分類模型構建方法包括：構建情感詞典；基于情感詞典對預先標注文本數據進行數據清洗，得到中性文本數據集與非中性文本數據集；非中性文本數據集包括利好文本數據集及利空文本數據集，基于中性文本數據集與非中性文本數據集對第一文本分類模型進行訓練，得到中性/非中性二分類器；基于利好文本數據集及利空文本數據集對第二文本分類模型進行訓練，得到利好/利空二分類器。文本分類方法中，基于所得到的文本分類模型對待測文本數據進行分類，提高了分類準確度，同時提升對于文本數據的分類效率。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種文本分類模型構建、文本分類方法及裝置。

背景技術

隨著移動互聯網時代的到來，內容的生產和傳播都發生了深刻的變化，為了滿足信息爆炸背景下用戶的多樣化需求，迫切需要對文本信息進行有效的組織，文本分類是數據挖掘和信息檢索領域研究的熱點和核心技術。

在對文本進行分類時主要是基于文本中的詞頻特征構建文本分類模型，進而基于構建的文本分類模型對待分類文本進行文本分類。在模型實際應用中存在有文本分類模型對待測文本數據分類不準確以及分類效率低下的問題，現有技術中尚未提出一種可以有效實現情感分類的文本分類模型。

發明內容

本發明提供一種文本分類模型構建、文本分類方法及裝置，用以解決現有技術中對文本數據分類準確度不高，分類效率低下的缺陷，實現對于文本數據的快速精準分類過程。

本發明提供一種文本分類模型構建方法，包括：構建情感詞典；

基于所述情感詞典對預先標注文本數據進行數據清洗，得到中性文本數據集與非中性文本數據集；其中，所述非中性文本數據集包括利好文本數據集及利空文本數據集，且所述中性文本數據集中的文本數據具有預設第一特征，所述利好文本數據集中的文本數據具有預設第二特征，所述利空文本數據集中的文本數據具有預設第三特征；

基于所述中性文本數據集與所述非中性文本數據集對第一文本分類模型進行訓練，得到中性/非中性二分類器；基于所述利好文本數據集及所述利空文本數據集對第二文本分類模型進行訓練，得到利好/利空二分類器。

根據本發明提供的一種文本分類模型構建方法，構建情感詞典，具體包括：對人工標注非中性文本數據進行分詞處理，獲取詞性為動詞的關鍵詞，基于所述關鍵詞形成關鍵詞集合，基于所述關鍵詞集合獲取正面情感詞和負面情感詞，基于所述正面情感詞和所述負面情感詞構建所述情感詞典；其中，所述正面情感詞具備預設第四特征，所述負面情感詞具備預設第五特征。

根據本發明提供的一種文本分類模型構建方法，所述基于所述關鍵詞形成關鍵詞集合，具體包括：對所述關鍵詞的詞頻進行統計，基于所述關鍵詞的詞頻篩選所述關鍵詞集合中的關鍵詞，基于篩選后的所述關鍵詞構建所述關鍵詞集合。

根據本發明提供的一種文本分類模型構建方法，所述基于所述情感詞典對預先標注文本數據進行數據清洗，得到中性文本數據集與非中性文本數據集，具體包括：若所述預先標注文本數據包含所述正面情感詞或所述負面情感詞，則標記所述預先標注文本數據為非中性文本數據；否則，標記所述預先標注文本數據為中性文本數據；

若所述預先標注文本數據以問號為結尾，且所述預先標注文本數據無其他分句，則標記所述預先標注文本數據為中性文本數據；

若所述預先標注文本數據包含兩個分句，且其中一個分句包含一個所述正面情感詞，另一個分句包含一個所述負面情感詞，則標記所述預先標注文本數據為中性文本數據；

若所述預先標注文本數據包含預設奇異詞，則標記所述預先標注文本數據為非中性文本數據；

若所述預先標注文本數據包含所述正面情感詞或所述負面情感詞，且所述正面情感詞和所述負面情感詞的個數不同，則標記所述預先標注文本數據為非中性文本數據；