[發明專利]文本分類模型構建、文本分類方法及裝置

在審

• 申請號: 202110322136.4
• 申請日: 2021-03-25
• 公開（公告）號: CN112948586A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 謝先招;向修海
• 申請（專利權）人: 武漢優品楚鼎科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/242;G06F40/30;G06N20/00
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 盛明星

1.一種文本分類模型構建方法，其特征在于，包括如下步驟：

構建情感詞典；

基于所述情感詞典對預先標注文本數據進行數據清洗，得到中性文本數據集與非中性文本數據集；其中，所述非中性文本數據集包括利好文本數據集及利空文本數據集，且所述中性文本數據集中的文本數據具有預設第一特征，所述利好文本數據集中的文本數據具有預設第二特征，所述利空文本數據集中的文本數據具有預設第三特征；

基于所述中性文本數據集與所述非中性文本數據集對第一文本分類模型進行訓練，得到中性/非中性二分類器；基于所述利好文本數據集及所述利空文本數據集對第二文本分類模型進行訓練，得到利好/利空二分類器；

所述基于所述情感詞典對預先標注文本數據進行數據清洗，得到中性文本數據集與非中性文本數據集，具體包括：若所述預先標注文本數據包含正面情感詞或負面情感詞，則標記所述預先標注文本數據為非中性文本數據；否則，標記所述預先標注文本數據為中性文本數據；

若所述預先標注文本數據以問號為結尾，且所述預先標注文本數據無其他分句，則標記所述預先標注文本數據為中性文本數據；

若所述預先標注文本數據包含兩個分句，且其中一個分句包含一個所述正面情感詞，另一個分句包含一個所述負面情感詞，則標記所述預先標注文本數據為中性文本數據；

若所述預先標注文本數據包含預設奇異詞，則標記所述預先標注文本數據為非中性文本數據；

若所述預先標注文本數據包含所述正面情感詞或所述負面情感詞，且所述正面情感詞和所述負面情感詞的個數不同，則標記所述預先標注文本數據為非中性文本數據；

根據所述中性文本數據構建得到所述中性文本數據集，根據所述非中性文本數據構建得到所述非中性文本數據集。

2.根據權利要求1所述的文本分類模型構建方法，其特征在于，所述構建情感詞典，具體包括：對人工標注非中性文本數據進行分詞處理，獲取詞性為動詞的關鍵詞，基于所述關鍵詞形成關鍵詞集合，基于所述關鍵詞集合獲取正面情感詞和負面情感詞，基于所述正面情感詞和所述負面情感詞構建所述情感詞典；其中，所述正面情感詞具備預設第四特征，所述負面情感詞具備預設第五特征。

3.根據權利要求2所述的文本分類模型構建方法，其特征在于，所述基于所述關鍵詞形成關鍵詞集合，具體包括：對所述關鍵詞的詞頻進行統計，基于所述關鍵詞的詞頻篩選所述關鍵詞集合中的關鍵詞，基于篩選后的所述關鍵詞構建所述關鍵詞集合。

4.根據權利要求1所述的文本分類模型構建方法，其特征在于，所述基于所述中性文本數據集與所述非中性文本數據集對第一文本分類模型進行訓練，得到中性/非中性二分類器，具體包括：設置epoch參數為20，基于所述中性文本數據集與所述非中性文本數據集對所述第一文本分類模型進行訓練，得到所述中性/非中性二分類器；

和/或，

所述基于所述利好文本數據集及所述利空文本數據集對第二文本分類模型進行訓練，得到利好/利空二分類器，具體包括：設置epoch參數為50，基于所述利好文本數據集及所述利空文本數據集對所述第二文本分類模型進行訓練，得到所述利好/利空二分類器。

5.一種文本分類方法，其特征在于，包括：

基于預設的文本情感極性判斷規則對待測文本數據進行判斷，得到所述待測文本數據為中性或非中性的第一判斷結果；對于所述第一判斷結果為中性的所述待測文本數據，輸出所述第一判斷結果；

基于中性/非中性二分類器對所述第一判斷結果為所述非中性的所述待測文本數據進一步進行判斷，得到所述待測文本數據為中性或非中性的第二判斷結果；對于所述第二判斷結果為中性的所述待測文本數據，輸出所述第二判斷結果；

基于利好/利空二分類器對所述第二判斷結果為所述非中性的所述待測文本數據進一步進行判斷，得到所述待測文本數據為利好或利空的第三判斷結果，并分別輸出所述第三判斷結果。