[發(fā)明專利]動態(tài)多模態(tài)視頻描述生成方法

有效

• 申請?zhí)枺?/td>: 201711433810.6
• 申請日: 2017-12-26
• 公開（公告）號: CN108200483B
• 公開（公告）日: 2020-02-28
• 發(fā)明（設(shè)計(jì)）人: 張兆翔;郝王麗;關(guān)赫
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: H04N21/84
• 分類號: H04N21/84;H04N21/466;H04N21/44
• 代理公司: 北京瀚仁知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11482
• 代理人: 郭文浩;陳曉鵬

1.一種動態(tài)多模態(tài)視頻描述生成方法，其特征在于，包括以下步驟：

步驟S1：提取視頻中所對應(yīng)的視覺CNN特征和聽覺MFCC特征，并判斷聽覺MFCC特征是否受損或者消失；如損失或消失執(zhí)行步驟S2，否則執(zhí)行步驟S3；

步驟S2：將所述視覺CNN特征通過基于編碼-解碼方式的聽覺推理模型進(jìn)行推理得到完整的聽覺MFCC特征；

步驟S3：利用所述視覺CNN特征和聽覺MFCC特征，基于視聽覺之間的時域依賴性，通過多模態(tài)編碼器進(jìn)行編碼以及視聽兩個模態(tài)的交互融合，得到融合特征，將融合特征通過解碼器迭代地解碼后生成視頻描述；

其中，所述多模態(tài)編碼器為基于共享權(quán)值的多模態(tài)LSTM編碼器，所述基于共享權(quán)值的多模態(tài)LSTM編碼器中包含兩個LSTM神經(jīng)網(wǎng)絡(luò)，分別用于對視覺特征CNN和聽覺特征MFCC進(jìn)行編碼,兩個LSTM神經(jīng)網(wǎng)絡(luò)的內(nèi)部記憶單元之間權(quán)值共享；或者

所述多模態(tài)編碼器為基于共享記憶單元的多模態(tài)記憶單元編碼器,所述基于共享記憶單元的多模態(tài)記憶單元編碼器包含兩個LSTM神經(jīng)網(wǎng)絡(luò)，分別用于對視覺CNN特征和聽覺MFCC特征進(jìn)行編碼,兩個LSTM神經(jīng)網(wǎng)絡(luò)的內(nèi)部記憶單元通過外部記憶單元進(jìn)行信息更新。

2.根據(jù)權(quán)利要求1所述的動態(tài)多模態(tài)視頻描述生成方法，其特征在于，所述聽覺推理模型，其生成聽覺MFCC特征的方法為：

使用編碼器對視頻CNN特征進(jìn)行編碼，得到高層語義；

利用解碼器解碼出對應(yīng)的聽覺MFCC特征；

其中，所述解碼器為聽覺推理模型的解碼器。

3.根據(jù)權(quán)利要求1所述動態(tài)多模態(tài)視頻描述生成方法，其特征在于，所述基于共享權(quán)值的多模態(tài)LSTM編碼器，其建模公式如下：

其中，

i_t,f_t,o_t和分別是輸入門，遺忘門，輸出門和記憶單元；

上標(biāo)s為模態(tài)的索引值；

s＝0，代表基于LSTM的聽覺信息編碼器；

s＝1，代表基于LSTM的視覺信息編碼器；

其中x⁰是聽覺MFCC特征；

x¹是視覺CNN特征；

W,U,b是對應(yīng)項(xiàng)的權(quán)值矩陣，其中U代表基于LSTM的視聽編碼器在隱藏層單元共享權(quán)值；

σ為sigmoid函數(shù)；

i為LSTM的輸入門；

h為LSTM的隱藏狀態(tài)；

h_t、h_t-1為LSTM在t和t-1時刻的隱藏狀態(tài)；

W_i、W_f、W_o、W_c分別為輸入門，忘記門，輸出門，記憶單元各項(xiàng)關(guān)于輸入x的權(quán)值；

x_t-1為t-1時刻的輸入；

U_i、U_f、U_o、U_c分別為輸入門，忘記門，輸出門，記憶單元各項(xiàng)關(guān)于隱藏狀態(tài)h權(quán)值；

bi、b_f、b_o、b_c分別為輸入門，忘記門，輸出門，記憶單元各項(xiàng)的偏置項(xiàng)；

c_t、c_t-1為記憶單元在t和t-1時刻的值。

4.根據(jù)權(quán)利要求1所述動態(tài)多模態(tài)視頻描述生成方法，其特征在于，所述“兩個LSTM神經(jīng)網(wǎng)絡(luò)的內(nèi)部記憶單元通過外部記憶單元進(jìn)行信息更新”，其方法為：

從外部記憶單元中讀取信息；

將外部記憶單元讀到的信息和兩個LSTM神經(jīng)網(wǎng)絡(luò)的內(nèi)部記憶單元分別進(jìn)行融合，并更新兩個LSTM神經(jīng)網(wǎng)絡(luò)的記憶單元。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述動態(tài)多模態(tài)視頻描述生成方法，其特征在于，所述“提取視頻中所對應(yīng)的視覺CNN特征和聽覺MFCC特征”，其方法為：

通過卷積神經(jīng)網(wǎng)絡(luò)對視頻中的視頻幀進(jìn)行視覺CNN特征的提取；

通過卷積神經(jīng)網(wǎng)絡(luò)對視頻幀的對應(yīng)音頻片段進(jìn)行音頻MFCC特征的提取。