[發明專利]基于人工智能處理的文本分類方法和裝置

在審

• 申請號: 201811625414.8
• 申請日: 2018-12-28
• 公開（公告）號: CN109726288A
• 公開（公告）日: 2019-05-07
• 發明（設計）人: 李暉;熊榮正;張雨薇
• 申請（專利權）人: 上海點融信息科技有限責任公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 北京永新同創知識產權代理有限公司 11376
• 代理人: 楊勝軍

1.一種基于人工智能處理的文本分類方法，其特征在于，包括以下步驟：

A.使用文本分類模型對未標注類別的第一文本集中的每個文本進行分類，以確定所述第一文本集中的每個文本的置信度，其中，所述文本分類模型基于已標注類別的歷史文本集來生成；

B.基于所述第一文本集中的每個文本的置信度，從所述第一文本集中確定一個或多個文本，并對所述一個或多個文本標注類別；

C.當標注后的所述一個或多個文本中包括與所述歷史文本集中的類別不同的新類別的文本時，利用標注后的所述一個或多個文本來更新所述歷史文本集；以及

D.利用經更新的歷史文本集來生成新的文本分類模型以用于對所述第一文本集中未標注的其他文本進行分類。

2.根據權利要求1所述的方法，其特征在于，所述歷史文本集包括不同類別的多個子集，所述多個子集中的每個子集包括相同類別的文本。

3.根據權利要求1所述的文本分類方法，其特征在于，步驟B中基于所述第一文本集中的每個文本的置信度，從所述第一文本集中確定一個或多個文本包括：

生成與所述歷史文本集中的類別相對應的置信度閾值；以及

基于所述置信度閾值，從所述第二文本集中選擇所述一個或多個文本。

4.根據權利要求3所述的文本分類方法，其特征在于，進一步包括：

基于所述每個文本的分類結果，調整所述置信度閾值。

5.根據權利要求4所述的文本分類方法，其特征在于，基于所述每個文本的分類結果，調整所述置信度閾值包括：

基于所述第一文本集中的每個文本的分類結果，計算不同類別的文本比例；以及

基于所述不同類別的文本的比例，調整所述置信度閾值。

6.根據權利要求1所述的文本分類方法，其特征在于，步驟C.當標注后的所述一個或多個文本中包括與所述歷史文本集中的類別不同的新類別的文本時，利用標注后的所述一個或多個文本來更新所述歷史文本集包括：

將標注后的所述一個或多個文本添加到所述歷史文本集。

7.根據權利要求6所述的文本分類方法，其特征在于，將標注后的所述一個或多個文本添加到所述歷史文本集包括：

基于所述新類別的文本的數量，計算所述一個或多個文本中的每個文本與所述新類別的文本的相似度；

基于所述相似度，確定所述一個或多個文本中的至少一個文本，并對所述至少一個文本重新標注類別；以及

將包括重新標注的所述至少一個文本的所述一個或多個文本添加到所述歷史文本集。

8.一種基于人工智能處理的文本分類裝置，其特征在于，包括：

處理器；以及

存儲器，其用于存儲指令，當所述指令被執行時使得所述處理器執行以下步驟：

A.使用文本分類模型對未標注類別的第一文本集中的每個文本進行分類，以確定所述第一文本集中的每個文本的置信度，其中，所述文本分類模型基于已標注類別的歷史文本集來生成；

B.基于所述第一文本集中的每個文本的置信度，從所述第一文本集中確定一個或多個文本，并對所述一個或多個文本標注類別；

C.當標注后的所述一個或多個文本中包括與所述歷史文本集中的類別不同的新類別的文本時，利用標注后的所述一個或多個文本來更新所述歷史文本集；以及

D.利用經更新的歷史文本集來生成新的文本分類模型以用于對所述第一文本集中未標注的其他文本進行分類。

9.根據權利要求8所述的文本分類裝置，其特征在于，所述歷史文本集包括不同類別的多個子集，所述多個子集中的每個子集包括相同類別的文本。

10.根據權利要求8所述的文本分類裝置，其特征在于，步驟B中基于所述第一文本集中的每個文本的置信度，從所述第一文本集中確定一個或多個文本包括：

生成與所述歷史文本集中的類別相對應的置信度閾值；以及

基于所述置信度閾值，從所述第二文本集中選擇所述一個或多個文本。