[發(fā)明專(zhuān)利]一種面向目標(biāo)的多模態(tài)情感分類(lèi)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110258627.7
• 申請(qǐng)日: 2021-03-09
• 公開(kāi)（公告）號(hào): CN113065577A
• 公開(kāi)（公告）日: 2021-07-02
• 發(fā)明（設(shè)計(jì)）人: 劉博;徐毓笑
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06F16/35;G06F40/289;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

本發(fā)明公開(kāi)了一種面向目標(biāo)的多模態(tài)情感分類(lèi)方法，通過(guò)遷移學(xué)習(xí)，使用最新預(yù)訓(xùn)練模型對(duì)文本和圖片進(jìn)行初步特征提取，利用注意力機(jī)制分別實(shí)現(xiàn)突出圖片關(guān)鍵區(qū)域和文本關(guān)鍵詞的進(jìn)一步特征提取，將單個(gè)模態(tài)特征進(jìn)行早期融合后，輸入到自注意力網(wǎng)絡(luò)中學(xué)習(xí)各模態(tài)之間的交互作用，確定各模態(tài)的貢獻(xiàn)程度，融合后的特征向量輸入到分類(lèi)器中得到情感分類(lèi)的結(jié)果。本模型很好的融合了各個(gè)單模態(tài)特征，有效的挖掘了互聯(lián)網(wǎng)社交媒體評(píng)論中所表達(dá)的情感信息，從而提高了多模態(tài)情感識(shí)別的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)以及多模態(tài)情感分析領(lǐng)域，主要用于提升多模態(tài)社交評(píng)論情感識(shí)別的準(zhǔn)確率。

背景技術(shù)

微博為代表的新興社交媒體，以其獨(dú)特的開(kāi)放性、實(shí)時(shí)性、互動(dòng)性和低門(mén)檻性為人們進(jìn)行意見(jiàn)表達(dá)和信息交流提供了平臺(tái)，并且以極快的速度影響著社會(huì)的信息傳播格局。考慮到當(dāng)前社交平臺(tái)評(píng)論中往往包含著多種模態(tài)的信息，對(duì)多模態(tài)信息進(jìn)行情感分類(lèi)已經(jīng)變得越來(lái)越重要，然而與單一模態(tài)數(shù)據(jù)的情感分析相比，當(dāng)前對(duì)于多模態(tài)評(píng)論的情感分析任務(wù)仍處于一個(gè)初步的研究階段。

面向目標(biāo)的情感分類(lèi)意在識(shí)別出評(píng)論中每個(gè)觀點(diǎn)目標(biāo)的情感極性，目前的方法都存在一些不足。首先，之前的情感分類(lèi)任務(wù)主要屬于自然語(yǔ)言處理領(lǐng)域的研究?jī)?nèi)容，依賴(lài)處理文本內(nèi)容，而沒(méi)有考慮其他類(lèi)型的信息源，例如圖片，而其他數(shù)據(jù)可能潛在地補(bǔ)充文本內(nèi)容并增強(qiáng)這些基于文本的模型，提高最終的分類(lèi)準(zhǔn)確率。其次，現(xiàn)有的大部分模型都只是隨機(jī)初始化其模型參數(shù)，由于多模態(tài)情感分析數(shù)據(jù)集很少且往往規(guī)模比較小，這可能導(dǎo)致模型在小型數(shù)據(jù)集上訓(xùn)練后在驗(yàn)證集上效果不佳。近年來(lái)預(yù)訓(xùn)練的無(wú)監(jiān)督語(yǔ)言模型參數(shù)應(yīng)用在各種NLP任務(wù)上的成為了最新趨勢(shì)，這些經(jīng)過(guò)良好初始化的模型可以捕獲每個(gè)單詞在不同上下文中的語(yǔ)義和句法含義。在日常生活中，人們通常針對(duì)一個(gè)或多個(gè)目標(biāo)對(duì)象發(fā)表觀點(diǎn)，關(guān)聯(lián)的圖片則傾向于突出顯示該焦點(diǎn)目標(biāo)，由于評(píng)論文本的簡(jiǎn)短和非正式，有時(shí)很難僅憑文本就判斷出目標(biāo)對(duì)象的情緒，關(guān)聯(lián)的圖片很可能有助于反映評(píng)論者對(duì)目標(biāo)對(duì)象的情緒，因此，探索如何構(gòu)建意見(jiàn)目標(biāo)與文本/視覺(jué)之間的對(duì)其方式以對(duì)同一模態(tài)內(nèi)部不同維度的信息分配合理的權(quán)重是有意義的，目前現(xiàn)有的不同模態(tài)之間的融合方法相對(duì)來(lái)說(shuō)比較簡(jiǎn)單，主要的特征融合方式主要分為早期融合和晚期融合兩種，這類(lèi)工作簡(jiǎn)單的將圖片數(shù)據(jù)和文本數(shù)據(jù)結(jié)合起來(lái)，而忽略了圖片和文本之間的結(jié)構(gòu)化信息耦合，導(dǎo)致文本和圖片融合后的最終特征向量輸入到分類(lèi)器進(jìn)行情感極性預(yù)測(cè)的效果不佳。

目前在多模態(tài)情感分析的研究中存在四個(gè)難題，一是如何選取網(wǎng)絡(luò)模型對(duì)不同模態(tài)的信息特征進(jìn)行提取，二是如何對(duì)單模態(tài)中提取出來(lái)的特征進(jìn)行進(jìn)一步的重要性評(píng)估，選擇出最有助于目標(biāo)情感識(shí)別任務(wù)的特征，各個(gè)模態(tài)的信息之間可能存在一定的聯(lián)系，如何發(fā)現(xiàn)并構(gòu)建它們之間的關(guān)系，使得不同模態(tài)的信息可以相互作用。三是目前現(xiàn)有的不同模態(tài)間的融合方法相對(duì)來(lái)說(shuō)比較簡(jiǎn)單，導(dǎo)致多模態(tài)的特征無(wú)法有效的融合，選擇在何時(shí)將不同模態(tài)的特征進(jìn)行結(jié)合以及如何更加有效的結(jié)合各個(gè)模態(tài)的特征去訓(xùn)練模型進(jìn)行情感分類(lèi)是多模態(tài)情感分類(lèi)這個(gè)任務(wù)需要探究的關(guān)鍵問(wèn)題，四是不同模態(tài)對(duì)于情感分類(lèi)的貢獻(xiàn)往往并不相同，如何根據(jù)情感分類(lèi)的準(zhǔn)確性來(lái)合理分配每種模態(tài)所占的比重也是個(gè)難題。

發(fā)明內(nèi)容

本發(fā)明提出了一種面向目標(biāo)的多模態(tài)情感分類(lèi)方法，通過(guò)遷移學(xué)習(xí)，使用最新預(yù)訓(xùn)練模型對(duì)文本和圖片進(jìn)行初步特征提取，利用注意力機(jī)制分別實(shí)現(xiàn)突出圖片關(guān)鍵區(qū)域和文本關(guān)鍵詞的進(jìn)一步特征提取，將單個(gè)模態(tài)特征進(jìn)行早期融合后，輸入到自注意力網(wǎng)絡(luò)中學(xué)習(xí)各模態(tài)之間的交互作用，確定各模態(tài)的貢獻(xiàn)程度，融合后的特征向量輸入到分類(lèi)器中得到情感分類(lèi)的結(jié)果。本模型很好的融合了各個(gè)單模態(tài)特征，有效的挖掘了互聯(lián)網(wǎng)社交媒體評(píng)論中所表達(dá)的情感信息，從而提高了多模態(tài)情感識(shí)別的準(zhǔn)確率。