[發明專利]文本分類的規則模板生成方法、分類方法及裝置、介質

有效

• 申請號: 202010475878.6
• 申請日: 2020-05-29
• 公開（公告）號: CN111651586B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 韓佳乘;齊保元;孟二利
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06F16/335
• 分類號: G06F16/335;G06F16/35;G06F16/31;G06F40/289
• 代理公司: 北京善任知識產權代理有限公司 11650
• 代理人: 康艷青

本公開是關于一種文本分類的規則模板生成方法、分類方法及裝置、介質。該方法包括：對候選文本進行分詞，獲得第一分詞結果；基于預設關鍵詞庫內的關鍵詞，去除所述第一分詞結果中所述關鍵詞以外的非關鍵詞；基于已去除非關鍵詞的第一分詞結果，得到候選模板；從所述候選模板中選擇出正確率達標的，作為對文本分類的規則模板保存。通過該方法，能緩解人工從文本中制定規則需要大量時間的問題。

技術領域

本公開涉及自然語言處理領域，尤其涉及一種文本分類的規則模板生成方法、分類方法及裝置、介質。

背景技術

文本分類(Text?Classification)任務是計算機根據文本內容，自動劃分到規定的分類體系中某一類的自然語言處理任務，是眾多自然語言處理(Natural?LanguageProcessing，NLP)問題的重要組成部分。

目前有兩種主流的文本分類方法，一種是傳統的機器學習方法，另一種是深度學習方法。傳統機器學習需要人工進行文本特征的提取，再利用機器學習模型進行分類。與傳統方法相比，在深度學習中使用端到端的模型，文本特征可以通過神經網絡自動提取。

不管是傳統的機器學習方法還是深度學習方法，對于一些類別都會存在分類效果較差的現象，例如召回率較低。解決這一問題可以通過觀察文本數據，總結經驗規則加以區分。但由于需要觀察的數據量巨大，所以存在規則制定需要花費大量的時間和人力且效率較低的問題。

發明內容

本公開提供一種文本分類的規則模板生成方法、分類方法及裝置、介質。

根據本公開實施例的第一方面，提供一種文本分類的規則模板生成方法，包括：

對候選文本進行分詞，獲得第一分詞結果；

基于預設關鍵詞庫內的關鍵詞，去除所述第一分詞結果中所述關鍵詞以外的非關鍵詞；

基于已去除非關鍵詞的第一分詞結果，得到候選模板；

從所述候選模板中選擇出正確率達標的，作為對文本分類的規則模板保存。

可選的，所述從所述候選模板中選擇出正確率達標的，作為對文本分類的規則模板保存，包括：

利用帶文本類型標簽的測試文本分別對所述候選模板進行測試，獲得各所述候選模板對所述測試文本的預測結果；

根據所述預測結果與所述文本類型標簽，選擇一個或多個正確率達標的作為所述規則模板保存。

可選的，所述利用帶文本類型標簽的測試文本分別對所述候選模板進行測試，獲得各所述候選模板對所述測試文本的預測結果，包括：

對所述測試文本進行分詞，獲得第二分詞結果；

基于所述預設關鍵詞庫內的關鍵詞，去除所述第二分詞結果中所述關鍵詞以外的非關鍵詞；

基于已去除非關鍵詞的第二分詞結果，得到所述候選模板對應的預測結果；

所述根據所述預測結果與所述文本類型標簽，選擇一個或多個正確率達標的作為所述規則模板保存，包括：

根據所述預測結果和所述測試文本的文本類型標簽是否匹配，分別確定各所述候選模板的正確率；

選擇所述正確率達標的一個或多個所述候選模板作為所述規則模板保存。

可選的，所述選擇所述正確率達標的一個或多個所述候選模板作為所述規則模板保存，包括：

對各所述候選模板的正確率進行排序，獲得排序結果；

根據所述排序結果，選擇正確率最大的一個或多個候選模板作為所述規則模板保存。

可選的，所述方法還包括：