[發(fā)明專(zhuān)利]一種融合常識(shí)知識(shí)的文檔級(jí)圖文評(píng)論情感分類(lèi)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211098773.9
• 申請(qǐng)日: 2022-09-08
• 公開(kāi)（公告）號(hào): CN116521818A
• 公開(kāi)（公告）日: 2023-08-01
• 發(fā)明（設(shè)計(jì)）人: 謝珺;王雨竹;高婧;胡勇;續(xù)欣瑩
• 申請(qǐng)（專(zhuān)利權(quán)）人: 太原理工大學(xué)
• 主分類(lèi)號(hào): G06F16/33
• 分類(lèi)號(hào): G06F16/33;G06F16/35;G06F40/169;G06F40/279;G06N3/0442;G06N3/09
• 代理公司: 太原市科瑞達(dá)專(zhuān)利代理有限公司 14101
• 代理人: 耿聯(lián)軍

本發(fā)明屬于人工智能、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域，一種融合常識(shí)知識(shí)的文檔級(jí)圖文評(píng)論情感分類(lèi)方法，首先將從互聯(lián)網(wǎng)收集到的評(píng)論數(shù)據(jù)抽象為結(jié)構(gòu)化數(shù)據(jù)，完成中文分詞、圖像歸一化等數(shù)據(jù)預(yù)處理工作后依次通過(guò)單模態(tài)情感特征表示學(xué)習(xí)和多模態(tài)情感特征融合得到評(píng)論數(shù)據(jù)的特征表示，最后將融合特征輸入分類(lèi)器或直接采用多層感知機(jī)得到情感概率分布。本發(fā)明方法一方面通過(guò)融合常識(shí)知識(shí)加強(qiáng)了文本語(yǔ)義理解，另一方面引入相關(guān)的圖像信息輔助提升文本情感表達(dá)，能有效提升情感分類(lèi)的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明屬于人工智能、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域，主要涉及深度學(xué)習(xí)技術(shù)，特別提出一種融合常識(shí)知識(shí)的文檔級(jí)圖文評(píng)論情感分類(lèi)方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展和智能終端設(shè)備的普及，網(wǎng)絡(luò)媒體作為一種新的信息傳播形式深入人們的日常生活。人們?cè)诿襟w平臺(tái)表達(dá)觀點(diǎn)、傳播思想，針對(duì)各類(lèi)商品、虛擬產(chǎn)品或者線上線下商家的服務(wù)發(fā)表評(píng)價(jià)，參與討論。網(wǎng)絡(luò)用戶(hù)不僅僅是內(nèi)容的瀏覽者也是創(chuàng)造者，龐大的在線用戶(hù)群體即時(shí)地上傳關(guān)于電商產(chǎn)品、酒店、餐飲等不同服務(wù)領(lǐng)域的評(píng)論。隨著移動(dòng)設(shè)備和媒介平臺(tái)的不斷進(jìn)步，評(píng)論內(nèi)容從原本單一的文字描述，轉(zhuǎn)向包含圖片、視頻以及評(píng)分等的多模態(tài)、多形式的綜合評(píng)價(jià)體系，這樣的評(píng)論內(nèi)容更加直觀且具有說(shuō)服力。研究表明，與僅包含文本或僅包含圖片的單模態(tài)評(píng)論相比，圖文結(jié)合的多模態(tài)評(píng)論能夠更好地進(jìn)行在線評(píng)論有用性預(yù)測(cè)。因此，為了充分發(fā)揮用戶(hù)生成內(nèi)容潛在價(jià)值，通過(guò)多模態(tài)情感分析技術(shù)，可以有效挖掘在線圖文評(píng)論數(shù)據(jù)的情感表達(dá)以指導(dǎo)進(jìn)一步的商業(yè)分析和決策。

雖然多模態(tài)數(shù)據(jù)包含了更加豐富的情感信息，但不同模態(tài)類(lèi)型的數(shù)據(jù)對(duì)整體的情感表達(dá)發(fā)揮著不同的作用。一方面，每一種模態(tài)在情感表達(dá)上有其獨(dú)有的特征；另一方面，不同模態(tài)特征之間進(jìn)行交互能彌補(bǔ)單模態(tài)數(shù)據(jù)情感信息的缺失，進(jìn)一步提升情感識(shí)別準(zhǔn)確率。評(píng)論數(shù)據(jù)主要依靠文本信息來(lái)傳達(dá)情感，因此在單模態(tài)建模中加強(qiáng)文本的情感語(yǔ)義理解十分重要；而文本和對(duì)應(yīng)圖片一般圍繞相同情感主題，具有一定的情感語(yǔ)義關(guān)聯(lián)性，因此兩模態(tài)在特定的情感特征空間當(dāng)中具有一致性，可以進(jìn)行相似性度量。因此面向文檔級(jí)圖文評(píng)論數(shù)據(jù)，亟待解決的兩個(gè)關(guān)鍵問(wèn)題在于：如何提高文本數(shù)據(jù)質(zhì)量，對(duì)其進(jìn)行更深層次的特征表示學(xué)習(xí)；如何學(xué)習(xí)圖像和文本之間的關(guān)聯(lián)信息和互補(bǔ)信息，建立更有效的模態(tài)融合機(jī)制。

發(fā)明內(nèi)容

為解決上述問(wèn)題，本發(fā)明提供一種融合常識(shí)知識(shí)的文檔級(jí)圖文評(píng)論情感分類(lèi)方法。通過(guò)將文本內(nèi)容與相關(guān)背景知識(shí)相結(jié)合，對(duì)發(fā)生的事情和原因構(gòu)建一個(gè)連貫的表示，可以獲得更好的文本特征表示。對(duì)于附加的圖像，考慮其與文本的語(yǔ)義相關(guān)性，將與評(píng)論內(nèi)容高度相關(guān)的圖像作為補(bǔ)充特征。與現(xiàn)有技術(shù)相比，能有效提升文檔級(jí)圖文評(píng)論情感分類(lèi)的準(zhǔn)確率。

本發(fā)明所采用的技術(shù)方案是：一種融合常識(shí)知識(shí)的文檔級(jí)圖文評(píng)論情感分類(lèi)方法，包括下述步驟：

S1、從目標(biāo)(涉及酒店、餐廳或其他產(chǎn)品)評(píng)論網(wǎng)站獲取帶有文本和圖片的原始評(píng)論數(shù)據(jù)，對(duì)文本和圖片的原始評(píng)論數(shù)據(jù)進(jìn)行預(yù)處理，獲得文本和圖片的預(yù)處理評(píng)論數(shù)據(jù)，然后對(duì)文本和圖片的預(yù)處理評(píng)論數(shù)據(jù)進(jìn)行初步的特征提取，得到詞級(jí)文本特征和全局視覺(jué)特征；

S2、將文本的預(yù)處理評(píng)論數(shù)據(jù)輸入ATOMIC-COMET語(yǔ)言模型，ATOMIC-COMET語(yǔ)言模型對(duì)文本的預(yù)處理評(píng)論數(shù)據(jù)中包含的事件進(jìn)行常識(shí)推理，得到常識(shí)知識(shí)特征；

S3、將詞級(jí)文本特征輸入序列型神經(jīng)網(wǎng)絡(luò)Bi-GRU中，得到上下文增強(qiáng)的句子級(jí)文本特征，將句子級(jí)文本特征與常識(shí)知識(shí)特征一起輸入常識(shí)知識(shí)融合層，得到句子級(jí)的文本情感特征；

S4、將全局視覺(jué)特征與句子級(jí)的文本情感特征輸入多模態(tài)信息交互層，學(xué)習(xí)模態(tài)間細(xì)粒度的相關(guān)性，得到句子級(jí)圖文相關(guān)的細(xì)粒度融合特征；

S5、由句子級(jí)的文本情感特征和句子級(jí)圖文相關(guān)的細(xì)粒度融合特征分別聚合得到兩個(gè)通道的文檔級(jí)特征，由門(mén)控機(jī)制融合兩個(gè)通道的文檔級(jí)特征后，得到最終文檔級(jí)的特征表示，使用多層感知機(jī)計(jì)算最終文檔級(jí)的特征表示的情感類(lèi)別的概率分布，選擇其中概率值最高的類(lèi)別作為最終分類(lèi)結(jié)果。