[發(fā)明專利]基于人工智能處理的文本分類方法和裝置

在審

• 申請?zhí)枺?/td>: 201811625414.8
• 申請日: 2018-12-28
• 公開（公告）號: CN109726288A
• 公開（公告）日: 2019-05-07
• 發(fā)明（設(shè)計）人: 李暉;熊榮正;張雨薇
• 申請（專利權(quán)）人: 上海點(diǎn)融信息科技有限責(zé)任公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 北京永新同創(chuàng)知識產(chǎn)權(quán)代理有限公司 11376
• 代理人: 楊勝軍

本公開的實施例公開了一種基于人工智能處理的文本分類方法，該方法包括：使用文本分類模型對未標(biāo)注類別的第一文本集中的每個文本進(jìn)行分類，以確定所述第一文本集中的每個文本的置信度，其中，所述文本分類模型基于已標(biāo)注類別的歷史文本集來生成；基于所述第一文本集中的每個文本的置信度，從所述第一文本集中確定一個或多個文本，并對所述一個或多個文本標(biāo)注類別；當(dāng)標(biāo)注后的所述一個或多個文本中包括與所述歷史文本集中的類別不同的新類別的文本時，利用標(biāo)注后的所述一個或多個文本來更新所述歷史文本集。利用本公開的實施例的方法可以自動發(fā)現(xiàn)新的文本類別，并提高文本分類模型的分類準(zhǔn)確度。

技術(shù)領(lǐng)域

本公開內(nèi)容屬于信息處理技術(shù)領(lǐng)域，尤其涉及一種基于人工智能處理的文本分類方法、裝置以及一種相應(yīng)的計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

人工智能(Artificial Intelligence)，英文縮寫為AI。它是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。文本分類是指采用自然語言處理(NLP)技術(shù)對文本(樣本)集按照一定的分類體系或標(biāo)準(zhǔn)進(jìn)行自動分類標(biāo)記。文本分類可以被廣泛地應(yīng)用于各種領(lǐng)域，諸如正負(fù)輿情監(jiān)控、智能客服、分辨垃圾郵件、電影評論情感識別以及任何可分類的任務(wù)等。傳統(tǒng)的文本分類方法包括兩個過程：1、基于大量已標(biāo)注類別的樣本，利用機(jī)器學(xué)習(xí)方法來訓(xùn)練出模型；2、利用模型對未標(biāo)注類別的樣本進(jìn)行分類。然而，這種方法是建立在類別固定的基礎(chǔ)上，當(dāng)出現(xiàn)新的樣本不屬于預(yù)先給定的任何一種類別時，模型的分類表現(xiàn)就會變差。

發(fā)明內(nèi)容

本公開的實施例提供了一種基于人工智能處理的文本分類方法、裝置以及一種相應(yīng)的計算機(jī)可讀存儲介質(zhì)，以至少部分地解決上述及其他潛在的問題。

本公開的實施例的第一方面提出了一種基于人工智能處理的文本分類方法，所述文本分類方法包括以下步驟：

A.使用文本分類模型對未標(biāo)注類別的第一文本集中的每個文本進(jìn)行分類，以確定所述第一文本集中的每個文本的置信度，其中，所述文本分類模型基于已標(biāo)注類別的歷史文本集來生成；

B.基于所述第一文本集中的每個文本的置信度，從所述第一文本集中確定一個或多個文本，并對所述一個或多個文本標(biāo)注類別；

C.當(dāng)標(biāo)注后的所述一個或多個文本中包括與所述歷史文本集中的類別不同的新類別的文本時，利用標(biāo)注后的所述一個或多個文本來更新所述歷史文本集；以及

D.利用經(jīng)更新的歷史文本集來生成新的文本分類模型以用于對所述第一文本集中未標(biāo)注的其他文本進(jìn)行分類。

本公開的實施例的第二方面提出了一種基于人工智能處理的文本分類裝置，所述文本分類裝置包括：

處理器；以及

存儲器，其用于存儲指令，當(dāng)所述指令被執(zhí)行時使得所述處理器執(zhí)行以下步驟：

A.使用文本分類模型對未標(biāo)注類別的第一文本集中的每個文本進(jìn)行分類，以確定所述第一文本集中的每個文本的置信度，其中，所述文本分類模型基于已標(biāo)注類別的歷史文本集來生成；

B.基于所述第一文本集中的每個文本的置信度，從所述第一文本集中確定一個或多個文本，并對所述一個或多個文本標(biāo)注類別；

C.當(dāng)標(biāo)注后的所述一個或多個文本中包括與所述歷史文本集中的類別不同的新類別的文本時，利用標(biāo)注后的所述一個或多個文本來更新所述歷史文本集；以及

D.利用經(jīng)更新的歷史文本集來生成新的文本分類模型以用于對所述第一文本集中未標(biāo)注的其他文本進(jìn)行分類。

本公開的實施例的第三方面提出了一種計算機(jī)可讀存儲介質(zhì)，包括計算機(jī)可執(zhí)行指令，所述計算機(jī)可執(zhí)行指令在裝置中運(yùn)行時使得所述裝置執(zhí)行根據(jù)本發(fā)公開的實施例的第一方面所述的基于人工智能處理的文本分類方法。