[發(fā)明專利]基于多粒度建模的半監(jiān)督文本分類方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011004053.2
• 申請(qǐng)日: 2020-09-22
• 公開（公告）號(hào): CN112214597B
• 公開（公告）日: 2022-09-06
• 發(fā)明（設(shè)計(jì)）人: 余本功;汲浩敏;朱夢(mèng)迪;王胡燕;王惠靈;張子薇;朱曉潔
• 申請(qǐng)（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06N3/08
• 代理公司: 北京久誠(chéng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11542
• 代理人: 余罡

1.一種基于多粒度建模的半監(jiān)督文本分類方法，其特征在于，所述方法由計(jì)算機(jī)執(zhí)行，包括以下步驟：

獲取有標(biāo)記的文本樣本集L、未標(biāo)記的文本樣本集U、待分類文本T；

構(gòu)建MG-SSC模型；其中，所述MG-SSC模型包括三通道的文本向量模型層、基分類器層和集成結(jié)果層；所述三通道的文本向量模型層包括第一通道、第二通道以及第三通道，所述基分類器層包括第一基分類器組A、第二基分類器組B以及第三基分類器組C；

基于所述第一通道分別對(duì)L、U和T進(jìn)行編碼得到L₁、U₁和T₁，基于所述第二通道分別對(duì)L、U和T進(jìn)行編碼得到L₂、U₂和T₂，基于所述第三通道分別對(duì)L、U和T進(jìn)行編碼得到L₃、U₃和T₃；

基于L₁訓(xùn)練第一基分類器組A得到訓(xùn)練后的第一基分類器組A₁，基于L₂訓(xùn)練第二基分類器組B得到訓(xùn)練后的第二基分類器組B₁，基于L₃訓(xùn)練第三基分類器組C得到訓(xùn)練后的第三基分類器組C₁；

基于第一基分類器組A₁獲取U₁的分類預(yù)測(cè)結(jié)果，基于第二基分類器組B₁獲取U₂的分類預(yù)測(cè)結(jié)果，基于第三基分類器組C₁獲取U₃的分類預(yù)測(cè)結(jié)果；

基于所述集成結(jié)果層對(duì)U中的文本樣本的多個(gè)分類預(yù)測(cè)結(jié)果進(jìn)行處理，得到處理后的文本樣本，將處理后的文本樣本基于所述第一通道進(jìn)行編碼后加入到L₁中得到L₁’，將處理后的文本樣本基于所述第二通道進(jìn)行編碼后加入到L₂中得到L₂’，將處理后的文本樣本基于所述第三通道進(jìn)行編碼后加入到L₃中得到L₃’；

基于L₁’訓(xùn)練第一基分類器組A₁得到訓(xùn)練后的第一基分類器組A₂，基于L₂’訓(xùn)練第二基分類器組B₁得到訓(xùn)練后的第二基分類器組B₂，基于L₃’訓(xùn)練第三基分類器組C₁得到訓(xùn)練后的第三基分類器組C₂；

基于第一基分類器組A₂獲取T₁的分類預(yù)測(cè)結(jié)果，基于第二基分類器組B₂獲取T₂的分類預(yù)測(cè)結(jié)果，基于第三基分類器組C₂獲取T₃的分類預(yù)測(cè)結(jié)果；

基于所述集成結(jié)果層處理待分類文本T的多個(gè)分類預(yù)測(cè)結(jié)果，得到待分類文本T的最終分類結(jié)果；

所述第一通道包括BERT模型，所述第二通道包括Skip-gram模型，所述第三通道包括DBOW模型；

所述第一基分類器組A和所述第二基分類器組B以及第三基分類器組C相同，均包括：SVM基分類器、隨機(jī)森林基分類器和KNN基分類器，其中，每個(gè)基分類器組組內(nèi)使用Stacking方式對(duì)三個(gè)不同的基分類器進(jìn)行集成；在基分類器組組間使用Bagging方式進(jìn)行集成；

所述BERT模型用于對(duì)輸入第一通道的樣本進(jìn)行字符級(jí)編碼，所述Skip-gram模型用于對(duì)輸入第二通道的樣本進(jìn)行詞語(yǔ)級(jí)編碼，所述DBOW模型用于對(duì)輸入第三通道的樣本進(jìn)行句子級(jí)編碼。

2.如權(quán)利要求1所述的方法，其特征在于，所述基于所述集成結(jié)果層對(duì)U中的文本樣本的多個(gè)分類預(yù)測(cè)結(jié)果進(jìn)行處理，得到處理后的文本樣本，具體包括：

按照訓(xùn)練集補(bǔ)入規(guī)則中的類別均衡規(guī)則對(duì)U中的文本樣本的多個(gè)分類預(yù)測(cè)結(jié)果進(jìn)行均衡處理，將預(yù)測(cè)結(jié)果樣本中規(guī)模最小的那個(gè)類別的樣本數(shù)作為樣本抽取的閾值m，對(duì)其他類別按共識(shí)的排序從高到低抽取m個(gè)樣本，并將其他未被抽取的樣本舍棄，然后得到處理后的文本樣本。