[發(fā)明專(zhuān)利]一種基于多模態(tài)識(shí)別視頻情感信息的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110056309.2
• 申請(qǐng)日: 2021-01-15
• 公開(kāi)（公告）號(hào): CN112733764A
• 公開(kāi)（公告）日: 2021-04-30
• 發(fā)明（設(shè)計(jì)）人: 聶為之;任敏捷;劉安安;張勇東
• 申請(qǐng)（專(zhuān)利權(quán)）人: 天津大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62
• 代理公司: 天津市北洋有限責(zé)任專(zhuān)利代理事務(wù)所 12201
• 代理人: 李林娟

1.一種基于多模態(tài)識(shí)別視頻情感信息的方法，其特征在于，所述方法包括：

獲取每個(gè)視頻片段的語(yǔ)音信號(hào)并提取每個(gè)視頻片段的關(guān)鍵幀；根據(jù)所得每個(gè)視頻的語(yǔ)音信號(hào)和關(guān)鍵幀分別提取特征；

對(duì)所得的語(yǔ)音特征和關(guān)鍵幀特征進(jìn)行融合得到每個(gè)視頻特征描述符；根據(jù)視頻特征描述符建立關(guān)系圖；

根據(jù)關(guān)系圖，通過(guò)多頭注意力構(gòu)造多個(gè)全連接圖，生成多分支圖卷積網(wǎng)絡(luò)；對(duì)構(gòu)造的每個(gè)全連接圖，即為多分支圖卷積網(wǎng)絡(luò)中的每個(gè)分支，分別作圖卷積更新節(jié)點(diǎn)特征；

將多個(gè)全連接圖的更新后的節(jié)點(diǎn)特征進(jìn)行融合，生成唯一的節(jié)點(diǎn)特征即最終所得的包含視頻間關(guān)聯(lián)性的視頻特征描述符；

對(duì)最終的視頻特征描述符進(jìn)行分類(lèi)得到每個(gè)視頻所屬的情感類(lèi)別。

2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)識(shí)別視頻情感信息的方法，其特征在于，關(guān)系圖的構(gòu)建基于視頻特征描述符之間的相似度，相似度計(jì)算為：

其中，f₁和f₂分別為視頻V₁和V₂對(duì)應(yīng)的特征。

3.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)識(shí)別視頻情感信息的方法，其特征在于，所述根據(jù)關(guān)系圖，通過(guò)多頭注意力構(gòu)造多個(gè)全連接圖具體為：

其中，Q和K都為節(jié)點(diǎn)特征，A是原始關(guān)系圖G的鄰接矩陣，h為超參數(shù)用于防止點(diǎn)積維度過(guò)大將softmax函數(shù)推到它的梯度極小的區(qū)域，T代表轉(zhuǎn)置，softmax( )為歸一化指數(shù)函數(shù)。

4.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)識(shí)別視頻情感信息的方法，其特征在于，所述將多個(gè)全連接圖的更新后的節(jié)點(diǎn)特征進(jìn)行融合，生成唯一的節(jié)點(diǎn)特征具體為：

將深度連接引入到全連接圖更新節(jié)點(diǎn)特征的過(guò)程中，獲得了n個(gè)不同的嵌入圖，建立了n個(gè)分支來(lái)進(jìn)行嵌入操作，對(duì)于第g個(gè)全連接圖的鄰接矩陣各層的計(jì)算定義如下：

在偏差取決于注意力相關(guān)的鄰接矩陣的情況下，權(quán)重矩陣根據(jù)g來(lái)決定，且g＝{1，...，n}，為基于第g個(gè)全連接圖第l層學(xué)習(xí)的權(quán)重矩陣，為基于第g個(gè)全連接圖第l層學(xué)習(xí)的偏置向量，為基于第g個(gè)全連接圖第l層輸出的第i個(gè)節(jié)點(diǎn)特征，為基于第g個(gè)全連接圖第1層輸出的第i個(gè)節(jié)點(diǎn)特征為原始節(jié)點(diǎn)特征經(jīng)過(guò)圖卷積后得到；

將最大池化操作應(yīng)用于融合多個(gè)更新后的節(jié)點(diǎn)特征的信息以獲得每個(gè)更新后的節(jié)點(diǎn)的唯一特征，獲得每個(gè)更新后的節(jié)點(diǎn)最終的用于分類(lèi)的特征。