[發(fā)明專(zhuān)利]面向不確定模態(tài)缺失的多模態(tài)情感分析方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202310081044.0
• 申請(qǐng)日: 2023-01-31
• 公開(kāi)（公告）號(hào): CN115983280B
• 公開(kāi)（公告）日: 2023-08-15
• 發(fā)明（設(shè)計(jì)）人: 劉志中;周斌;初佃輝;孟令強(qiáng);孫宇航
• 申請(qǐng)（專(zhuān)利權(quán)）人: 煙臺(tái)大學(xué)
• 主分類(lèi)號(hào): G06F40/30
• 分類(lèi)號(hào): G06F40/30;G06F18/24;G06N3/0455;G06N3/09
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 于鳳洋

1.面向不確定模態(tài)缺失的多模態(tài)情感分析方法，其特征在于，包括：

獲取帶有不確定缺失的多模態(tài)數(shù)據(jù)，包括三種模態(tài)：文本、視覺(jué)和音頻；

通過(guò)訓(xùn)練后的多模態(tài)情感分析網(wǎng)絡(luò)處理所述三種模態(tài)數(shù)據(jù)，以生成并輸出最終的情感分類(lèi)；

其中，所述多模態(tài)情感分析網(wǎng)絡(luò)包括模態(tài)翻譯模塊，所述模態(tài)翻譯模塊是基于多頭注意力機(jī)制提取三種模態(tài)數(shù)據(jù)的單模態(tài)特征，并使用Transformer解碼器對(duì)Transformer編碼器進(jìn)行監(jiān)督，使視覺(jué)特征和音頻特征逼近文本特征，從而將視覺(jué)特征和音頻特征翻譯成文本特征；

所述基于多頭注意力機(jī)制提取三種模態(tài)數(shù)據(jù)的單模態(tài)特征，具體為：

使用Transformer編碼器提取每種模態(tài)的上下文特征；

對(duì)提取的上下文特征進(jìn)行殘差連接，并進(jìn)行歸一化；

對(duì)歸一化之后的上下文特征進(jìn)行線性變換，得到三種模態(tài)數(shù)據(jù)的單模態(tài)特征；

所述使用Transformer解碼器對(duì)Transformer編碼器進(jìn)行監(jiān)督，具體為：

以文本特征作為多頭注意力機(jī)制的Query、待翻譯的模態(tài)特征作為多頭注意力機(jī)制的Key和Value，構(gòu)建Transformer解碼器；

通過(guò)待翻譯的模態(tài)特征與Transformer解碼器輸出的文本特征之間的翻譯損失，監(jiān)督Transformer編碼器將待翻譯的模態(tài)特征向文本特征進(jìn)行翻譯；

所述多模態(tài)情感分析網(wǎng)絡(luò)還包括公共空間投影模塊；

所述公共空間投影模塊是對(duì)模態(tài)翻譯后的三種模態(tài)特征進(jìn)行線性變換，獲取各模態(tài)的自相關(guān)公共空間，將其融合為缺失模態(tài)的聯(lián)合特征；

所述多模態(tài)情感分析網(wǎng)絡(luò)還包括預(yù)訓(xùn)練模塊和Transformer編碼器模塊；

所述預(yù)訓(xùn)練模塊，使用所有完整的模態(tài)數(shù)據(jù)對(duì)多模態(tài)情感分析網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練；

所述Transformer編碼器模塊，在預(yù)訓(xùn)練的多模態(tài)情感分析網(wǎng)絡(luò)的監(jiān)督下，指導(dǎo)缺失模態(tài)的聯(lián)合特征向完整模態(tài)的聯(lián)合特征逼近，對(duì)缺失模態(tài)的聯(lián)合特征進(jìn)行編碼，從而生成完整模態(tài)的聯(lián)合特征；

所述多模態(tài)情感分析網(wǎng)絡(luò)還包括Transformer解碼器模塊；

將所述Transformer編碼器模塊的輸出作為T(mén)ransformer解碼器模塊的輸入，通過(guò)解碼器損失，引導(dǎo)Transformer編碼器學(xué)習(xí)不同模態(tài)之間的長(zhǎng)期依賴關(guān)系。

2.如權(quán)利要求1所述的面向不確定模態(tài)缺失的多模態(tài)情感分析方法，其特征在于，所述多模態(tài)情感分析網(wǎng)絡(luò)的總體訓(xùn)練目標(biāo)由分類(lèi)損失、預(yù)訓(xùn)練損失、Transformer編碼器-解碼器損失、模態(tài)翻譯損失加權(quán)求和得到。