[發(fā)明專利]利用共現(xiàn)信息的多任務(wù)輔助極限多標(biāo)簽短文本分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110101374.2
• 申請(qǐng)日: 2021-01-26
• 公開（公告）號(hào): CN112800222B
• 公開（公告）日: 2022-07-19
• 發(fā)明（設(shè)計(jì)）人: 王嫄;徐濤;王世龍;周宇博;王歡;楊巨成;趙婷婷;陳亞瑞
• 申請(qǐng)（專利權(quán)）人: 天津科技大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06N3/08
• 代理公司: 天津盛理知識(shí)產(chǎn)權(quán)代理有限公司 12209
• 代理人: 王利文

本發(fā)明涉及一種利用共現(xiàn)信息的多任務(wù)輔助極限多標(biāo)簽短文本分類方法，其主要技術(shù)特點(diǎn)是：構(gòu)建賬號(hào)?特征文件；利用賬號(hào)?特征文件為每條微博短文本提供額外的特征信息，并將該特征信息建模為顯式的模型輸入共現(xiàn)信息；構(gòu)建與微博短文本相關(guān)的多標(biāo)簽文本分類任務(wù)和極限多標(biāo)簽文本分類任務(wù)；構(gòu)建多任務(wù)學(xué)習(xí)任務(wù)模型；使用大規(guī)模微博短文本數(shù)據(jù)對(duì)多任務(wù)學(xué)習(xí)任務(wù)模型進(jìn)行預(yù)訓(xùn)練；對(duì)多任務(wù)學(xué)習(xí)任務(wù)模型進(jìn)行微調(diào)；對(duì)神經(jīng)網(wǎng)絡(luò)輸出進(jìn)行量化并最終輸出多任務(wù)預(yù)測(cè)結(jié)果。本發(fā)明利用共現(xiàn)信息設(shè)計(jì)多任務(wù)學(xué)習(xí)架構(gòu)，實(shí)現(xiàn)對(duì)大規(guī)模短文本的多標(biāo)簽分類,方法可在較低的工業(yè)部署成本情況下，對(duì)大規(guī)模短文本數(shù)據(jù)集實(shí)現(xiàn)穩(wěn)定精確實(shí)時(shí)的多標(biāo)簽預(yù)測(cè)。

技術(shù)領(lǐng)域

本發(fā)明屬于信息技術(shù)領(lǐng)域，涉及自然語言處理、文本分類方法，尤其是一種利用共現(xiàn)信息的多任務(wù)輔助極限多標(biāo)簽短文本分類方法。

背景技術(shù)

隨著文本數(shù)據(jù)生產(chǎn)速度日益增長(zhǎng)、數(shù)據(jù)多樣性、語義復(fù)雜性愈發(fā)顯現(xiàn)，傳統(tǒng)的多標(biāo)簽文本分類方法在準(zhǔn)確率和實(shí)時(shí)性上已難以滿足日常工業(yè)需求，對(duì)大規(guī)模標(biāo)簽集場(chǎng)景下的極限多標(biāo)簽文本分類任務(wù)需求越來越強(qiáng)烈。

為了解決上述問題，現(xiàn)有技術(shù)大多通過嵌入、多分類器、樹、深度學(xué)習(xí)等方法進(jìn)行解決。其中，嵌入方法時(shí)間復(fù)雜度高，效果極其依賴預(yù)處理過程中的聚類效果；多分類器方法忽略了標(biāo)簽間信息，將標(biāo)簽與標(biāo)簽間視為獨(dú)立的個(gè)體，且由于每一個(gè)標(biāo)簽均需要訓(xùn)練一個(gè)分類器，部署成本巨大，難以有效應(yīng)用于現(xiàn)實(shí)業(yè)務(wù)場(chǎng)景；樹方法無法解決數(shù)據(jù)集中的長(zhǎng)尾問題，并且規(guī)模大、成本高、精度差，難以在工業(yè)場(chǎng)景下穩(wěn)定使用。現(xiàn)有深度學(xué)習(xí)方法未優(yōu)化長(zhǎng)尾問題，只是簡(jiǎn)單的增加輸出層神經(jīng)元個(gè)數(shù)，導(dǎo)致其效果通常并不如其余三種方法。

鑒于此，本發(fā)明規(guī)避現(xiàn)有方法弊端，利用共現(xiàn)信息設(shè)計(jì)多任務(wù)學(xué)習(xí)架構(gòu)，實(shí)現(xiàn)對(duì)大規(guī)模短文本的多標(biāo)簽分類,方法可在較低的工業(yè)部署成本情況下，對(duì)大規(guī)模短文本數(shù)據(jù)集實(shí)現(xiàn)穩(wěn)定精確實(shí)時(shí)的多標(biāo)簽預(yù)測(cè)。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種設(shè)計(jì)合理、預(yù)測(cè)準(zhǔn)確、成本低且易于實(shí)現(xiàn)的利用共現(xiàn)信息的多任務(wù)輔助極限多標(biāo)簽短文本分類方法。

本發(fā)明解決其技術(shù)問題是采取以下技術(shù)方案實(shí)現(xiàn)的：

一種利用共現(xiàn)信息的多任務(wù)輔助極限多標(biāo)簽短文本分類方法，包括以下步驟：

步驟1、利用微博發(fā)文賬號(hào)的相關(guān)特征信息構(gòu)建賬號(hào)-特征文件；

步驟2、利用賬號(hào)-特征文件為每條微博短文本提供額外的特征信息F，并將該特征信息F建模為顯式的模型輸入共現(xiàn)信息C；

步驟3、構(gòu)建與微博短文本相關(guān)的多標(biāo)簽文本分類任務(wù)t₁；

步驟4、構(gòu)建大規(guī)模微博短文本極限多標(biāo)簽文本分類任務(wù)t₂；

步驟5、將多標(biāo)簽文本分類任務(wù)t₁與極限多標(biāo)簽文本分類任務(wù)t₂聯(lián)合建模，得到多任務(wù)學(xué)習(xí)任務(wù)模型T；

步驟6、使用大規(guī)模微博短文本數(shù)據(jù)對(duì)多任務(wù)學(xué)習(xí)任務(wù)模型T中的預(yù)訓(xùn)練模型M進(jìn)行預(yù)訓(xùn)練；

步驟7、使用小規(guī)模精準(zhǔn)的已標(biāo)注的微博短文本數(shù)據(jù)對(duì)多任務(wù)學(xué)習(xí)任務(wù)模型T進(jìn)行微調(diào)；

步驟8、對(duì)標(biāo)簽文本分類任務(wù)t₁與極限多標(biāo)簽文本分類任務(wù)t₂最后一層神經(jīng)網(wǎng)絡(luò)輸出進(jìn)行量化，并利用各自任務(wù)量化后的概率值結(jié)果按聯(lián)合規(guī)則構(gòu)建，最終輸出多任務(wù)預(yù)測(cè)結(jié)果。

所述步驟1中微博發(fā)文賬號(hào)為發(fā)布微博文本的作者賬號(hào)；所述微博發(fā)文賬號(hào)包括的特征信息為：發(fā)文常用標(biāo)簽、發(fā)文常在地和發(fā)文賬號(hào)名。在構(gòu)建賬號(hào)-特征文件時(shí)，考慮到微博發(fā)文賬號(hào)的相關(guān)特征信息存在誤差，對(duì)賬號(hào)-特征文件進(jìn)行清洗與更新。

所述步驟2得到的特征信息F為：