[發(fā)明專(zhuān)利]基于雙向雙層注意力LSTM網(wǎng)絡(luò)的多模態(tài)情感分類(lèi)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210369747.9
• 申請(qǐng)日: 2022-04-08
• 公開(kāi)（公告）號(hào): CN114722202A
• 公開(kāi)（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 吳珺;朱天亮;吳一帆;鄭欣麗;王春枝
• 申請(qǐng)（專(zhuān)利權(quán)）人: 湖北工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 肖明洲

1.一種基于雙向雙層注意力LSTM網(wǎng)絡(luò)的多模態(tài)情感分類(lèi)方法，其特征在于，包括以下步驟：

步驟1：針對(duì)待情感分類(lèi)的多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理，所述數(shù)據(jù)包括文本數(shù)據(jù)、語(yǔ)音數(shù)據(jù)和圖像數(shù)據(jù)；

步驟2：將預(yù)處理后的文本和圖像數(shù)據(jù)分別輸入雙向雙層注意力LSTM網(wǎng)絡(luò)，進(jìn)行多模態(tài)特征信息提取，包括特征抽取和基于注意力機(jī)制的特征融合過(guò)程；將預(yù)處理后的音頻數(shù)據(jù)，使用雙層單向的LSTM網(wǎng)絡(luò)進(jìn)行特征抽取；

步驟3：將所述多模態(tài)特征信息進(jìn)行特征融合，獲得一個(gè)三維特征矩陣；

步驟4：對(duì)融合后的特征進(jìn)行情感分類(lèi)，產(chǎn)生最終結(jié)果。

2.根據(jù)權(quán)利要求1中所述基于雙向雙層注意力LSTM網(wǎng)絡(luò)的多模態(tài)情感分類(lèi)方法，其特征在于：步驟1中所述預(yù)處理，首先對(duì)文本數(shù)據(jù)進(jìn)行分詞，對(duì)語(yǔ)音數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行特征抽取；最后將不同模態(tài)之間的信息采取基于詞水平的對(duì)齊工作，保證每一個(gè)詞對(duì)應(yīng)一段語(yǔ)音和圖像；

通過(guò)預(yù)處理，將文本數(shù)據(jù)Text、語(yǔ)音數(shù)據(jù)Audio和圖像數(shù)據(jù)Vision部分處理成基于詞水平的片段；

數(shù)據(jù)的維度分別表示為：T∈R^b×len×ht，A∈R^b×len×ha，V∈R^b×len×hv；其中，T、A和V分別表示為文本數(shù)據(jù)Text、語(yǔ)音數(shù)據(jù)Audio和圖像數(shù)據(jù)Vision經(jīng)過(guò)數(shù)據(jù)預(yù)處理有得到的數(shù)據(jù)特征，b表示預(yù)設(shè)閾值，大小batch_size，len表示數(shù)據(jù)的固定長(zhǎng)度，ht、hv和ha分別表示T、V和A的經(jīng)過(guò)數(shù)據(jù)預(yù)處理后的得到的數(shù)據(jù)特征維度。

3.根據(jù)權(quán)利要求1中所述基于雙向雙層注意力LSTM網(wǎng)絡(luò)的多模態(tài)情感分類(lèi)方法，其特征在于：步驟2中所述雙向雙層注意力LSTM網(wǎng)絡(luò)，包括特征抽取模塊和基于注意力機(jī)制的特征融合模塊；

所述特征抽取模塊，利用雙向LSTM可以分別產(chǎn)生前向和后向的輸出特征，將兩個(gè)雙層的雙向LSTM堆疊起來(lái)，將第一層雙向的LSTM的輸出作為第二層的輸入，再將第一層和第二層的正向輸出h_out[0]和h_out[2]進(jìn)行特征向量相加得到h_forward，同樣的也將第一、層產(chǎn)生的逆向輸出h_out[1]和h_out[3]進(jìn)行特征向量相加得到h_backward，最后得到的特征為堆疊的第一、二層的正向和逆向特征輸出；

所述基于注意力機(jī)制的特征融合模塊，首先使用所述特征抽取模塊得到數(shù)據(jù)信息的正向和逆向輸出特征，使用堆疊的雙層雙向LSTM網(wǎng)絡(luò)的輸出特征f_out，拆解成前向輸出特征h_forward和反向輸出特征h_backward；然后將得到的輸出進(jìn)行基于注意的融合過(guò)程；

所述融合過(guò)程分為兩層注意力模塊：

第一層注意力模塊，用于將堆疊的雙層雙向LSTM網(wǎng)絡(luò)產(chǎn)生的前向hidden層輸出特征h_forward和反向輸出特征h_backward，以及堆疊的雙層雙向LSTM網(wǎng)絡(luò)產(chǎn)生的輸出向量f_forward和f_backward進(jìn)行基于注意力的融合；融合過(guò)程將h_forward與h_backward和f_forward和f_backward作為注意力模塊的輸入；最后經(jīng)過(guò)注意力的得到的前向輸出特征記為feature₁和反向輸出feature₂；

第二層注意力模塊，將第一層注意力模塊得到的輸出feature₁和feature₂在經(jīng)過(guò)一個(gè)注意力層后，得到輸出的特征向量feature；最后經(jīng)過(guò)一個(gè)或0個(gè)全連接成來(lái)得到最后的輸出特征向量；其中，文本數(shù)據(jù)使用激活函數(shù)為gelu的全連接層；圖像數(shù)據(jù)僅使用tanh激活函數(shù)而不使用全連接層；

feature＝feature₁×θ+feature₂×(1-θ)

其中，θ為要學(xué)習(xí)的權(quán)重因子，feature為經(jīng)過(guò)注意力模塊后的輸出特征。