[發(fā)明專利]一種文本分類方法和相關(guān)裝置

在審

• 申請?zhí)枺?/td>: 202011222967.6
• 申請日: 2020-11-05
• 公開（公告）號: CN112214605A
• 公開（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 繆暢宇
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 常忠良

本申請實(shí)施例公開了一種文本分類方法和相關(guān)裝置，至少涉及人工智能中的自然語言處理和機(jī)器學(xué)習(xí)，獲取對應(yīng)第一語言的第一樣本集合和對應(yīng)第二語言的第二樣本集合，第一樣本集合中的第一文本樣本和第二樣本集合中的第二文本樣本具有基于相同標(biāo)注規(guī)則得到的標(biāo)注標(biāo)簽，由此將第一樣本集合和第二樣本集合混合，以生成訓(xùn)練樣本集合，并基于訓(xùn)練樣本集合訓(xùn)練初始通用分類模型，訓(xùn)練過程中，第一文本樣本和第二文本樣本以類似交替的方式作為初始通用分類模型的輸入數(shù)據(jù)，使得初始通用分類模型學(xué)習(xí)到與語言本身無關(guān)的分類特性。由此實(shí)現(xiàn)了借助大量準(zhǔn)確的第一文本樣本訓(xùn)練出可適用于在第二語言下進(jìn)行文本分類的通用分類模型，提高了產(chǎn)品擴(kuò)展業(yè)務(wù)的迭代速度。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及一種文本分類方法和相關(guān)裝置。

背景技術(shù)

文本分類常被應(yīng)用在與文本內(nèi)容相關(guān)的產(chǎn)品中，比如新聞分類、文章分類、意圖分類等等，一般通過分類模型對新聞、文章、朋友圈、評論中的文本進(jìn)行內(nèi)容識別，分類來實(shí)現(xiàn)。

一般情況下，用于文本分類的分類模型多是針對某一語言的文本，比如中文、英文等等，但當(dāng)產(chǎn)品需要拓展其他語言業(yè)務(wù)時(shí)，原本實(shí)用的網(wǎng)絡(luò)模型將無法在新語言場景中使用，只能重新訓(xùn)練適用于新語言場景的分類模型。

然而，在擴(kuò)展語言業(yè)務(wù)的初期，用于訓(xùn)練分類模型所需的標(biāo)注文本數(shù)量很少，只能通過人工標(biāo)注的方式慢慢積累才能達(dá)到實(shí)現(xiàn)模型訓(xùn)練的樣本體量，由此導(dǎo)致訓(xùn)練分類模型的周期很長，不利于產(chǎn)品的快速迭代。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本申請?zhí)峁┝艘环N文本分類方法和相關(guān)裝置，不再需要等待人工標(biāo)注出足量新語言文本樣本的時(shí)間，提高了產(chǎn)品擴(kuò)展業(yè)務(wù)的迭代速度。

本申請實(shí)施例公開了如下技術(shù)方案：

一方面，本申請?zhí)峁┮环N文本分類方法，所述方法包括：

獲取對應(yīng)第一語言的第一樣本集合和對應(yīng)第二語言的第二樣本集合，所述第一樣本集合包括第一數(shù)量的第一文本樣本，所述第二樣本集合包括第二數(shù)量的第二文本樣本，所述第一文本樣本和所述第二文本樣本具有基于相同標(biāo)注規(guī)則得到的標(biāo)注標(biāo)簽，所述第一數(shù)量大于所述第二數(shù)量；

根據(jù)所述第一樣本集合和所述第二樣本集合生成訓(xùn)練樣本集合；

基于所述訓(xùn)練樣本集合訓(xùn)練初始通用分類模型，得到通用分類模型，在訓(xùn)練所述初始通用分類模型時(shí)，用于輸入所述初始通用分類模型的輸入序列中所述第一文本樣本和所述第二文本樣本混合排列；

通過所述通用分類模型對未標(biāo)注文本進(jìn)行分類標(biāo)注，所述未標(biāo)注文本為對應(yīng)所述第二語言的文本。

另一方面，本申請?zhí)峁┮环N文本分類裝置，所述裝置包括：獲取單元、生成單元、訓(xùn)練單元和分類單元；

所述獲取單元，用于獲取對應(yīng)第一語言的第一樣本集合和對應(yīng)第二語言的第二樣本集合，所述第一樣本集合包括第一數(shù)量的第一文本樣本，所述第二樣本集合包括第二數(shù)量的第二文本樣本，所述第一文本樣本和所述第二文本樣本具有基于相同標(biāo)注規(guī)則得到的標(biāo)注標(biāo)簽，所述第一數(shù)量大于所述第二數(shù)量；

所述生成單元，用于根據(jù)所述第一樣本集合和所述第二樣本集合生成訓(xùn)練樣本集合；

所述訓(xùn)練單元，用于基于所述訓(xùn)練樣本集合訓(xùn)練初始通用分類模型，得到通用分類模型，在訓(xùn)練所述初始通用分類模型時(shí)，用于輸入所述初始通用分類模型的輸入序列中所述第一文本樣本和所述第二文本樣本混合排列；

所述分類單元，用于通過所述通用分類模型對未標(biāo)注文本進(jìn)行分類標(biāo)注，所述未標(biāo)注文本為對應(yīng)所述第二語言的文本。

另一方面，本申請?zhí)峁┮环N計(jì)算機(jī)設(shè)備，所述設(shè)備包括處理器以及存儲(chǔ)器：

所述存儲(chǔ)器用于存儲(chǔ)程序代碼，并將所述程序代碼傳輸給所述處理器；