[發(fā)明專利]一種基于動(dòng)態(tài)時(shí)空?qǐng)D的視頻推理方法、裝置、設(shè)備及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110077770.6
• 申請(qǐng)日: 2021-01-20
• 公開(kāi)（公告）號(hào): CN112733789B
• 公開(kāi)（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 朱文武;王鑫;李國(guó)豪
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類(lèi)號(hào): G06F16/783
• 分類(lèi)號(hào): G06F16/783;G06F16/732;G06F16/332;G06F18/214;G06F18/241;G06F18/25;G06N3/042;G06N3/0464;G06N3/044;G06N3/0895;G06N5/04
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 茍冬梅

1.一種基于動(dòng)態(tài)時(shí)空?qǐng)D的視頻推理方法，其特征在于，所述方法包括：

將視頻和與視頻對(duì)應(yīng)的問(wèn)題文本輸入問(wèn)題推理網(wǎng)絡(luò)之中，采用所述問(wèn)題推理網(wǎng)絡(luò)將所述視頻動(dòng)態(tài)表征為問(wèn)題相關(guān)的時(shí)空?qǐng)D；

采用所述問(wèn)題推理網(wǎng)絡(luò)中的圖卷積網(wǎng)絡(luò)對(duì)所述時(shí)空?qǐng)D進(jìn)行特征提取，得到所述視頻中每一幀圖像的特征向量；

采用所述問(wèn)題推理網(wǎng)絡(luò)中的循環(huán)神經(jīng)網(wǎng)絡(luò)將所述視頻中每一幀圖像的特征向量進(jìn)行時(shí)序上下文建模，得到多個(gè)融合了上下文信息的特征向量；

將所述多個(gè)融合了上下文信息的特征向量與所述視頻對(duì)應(yīng)的問(wèn)題文本的特征向量進(jìn)行融合，得到多模態(tài)融合向量；

采用所述問(wèn)題推理網(wǎng)絡(luò)中的神經(jīng)網(wǎng)絡(luò)分類(lèi)器，根據(jù)所述多模態(tài)融合向量推理出所述視頻對(duì)應(yīng)的問(wèn)題文本的答案；

其中，將視頻和與視頻對(duì)應(yīng)的問(wèn)題文本輸入問(wèn)題推理網(wǎng)絡(luò)之中，采用所述問(wèn)題推理網(wǎng)絡(luò)將所述視頻動(dòng)態(tài)表征為問(wèn)題相關(guān)的時(shí)空?qǐng)D，包括：

采用所述問(wèn)題推理網(wǎng)絡(luò)中的預(yù)訓(xùn)練好的物體檢測(cè)器，從所述視頻的每一幀畫(huà)面中識(shí)別出所有物體，并將每個(gè)物體對(duì)應(yīng)的視覺(jué)特征向量作為所述時(shí)空?qǐng)D中的節(jié)點(diǎn)，得到多個(gè)節(jié)點(diǎn)；

將所述多個(gè)節(jié)點(diǎn)中相鄰的節(jié)點(diǎn)用邊進(jìn)行連接，并采用所述問(wèn)題推理網(wǎng)絡(luò)，根據(jù)所述視頻對(duì)應(yīng)的問(wèn)題文本為每個(gè)節(jié)點(diǎn)之間的邊賦予相應(yīng)的權(quán)重，完成所述時(shí)空?qǐng)D的構(gòu)建，所述多個(gè)節(jié)點(diǎn)中相鄰的節(jié)點(diǎn)之間的邊代表了節(jié)點(diǎn)之間的交互關(guān)系。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，采用所述問(wèn)題推理網(wǎng)絡(luò)中的圖卷積網(wǎng)絡(luò)對(duì)所述時(shí)空?qǐng)D進(jìn)行特征提取，得到所述視頻中每一幀圖像的特征向量，包括：

采用所述問(wèn)題推理網(wǎng)絡(luò)中的圖卷積網(wǎng)絡(luò)對(duì)所述時(shí)空?qǐng)D中的相鄰的節(jié)點(diǎn)進(jìn)行融合，得到融合了交互信息的節(jié)點(diǎn)；

將所述視頻中同一幀圖像中的所有融合了交互信息的節(jié)點(diǎn)進(jìn)行融合，得到所述視頻中每一幀圖像的特征向量。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，采用所述問(wèn)題推理網(wǎng)絡(luò)中的神經(jīng)網(wǎng)絡(luò)分類(lèi)器，根據(jù)所述多模態(tài)融合向量推理出所述視頻對(duì)應(yīng)的問(wèn)題文本的答案，包括：

采用所述問(wèn)題推理網(wǎng)絡(luò)中的神經(jīng)網(wǎng)絡(luò)分類(lèi)器，根據(jù)所述多模態(tài)融合向量從答案數(shù)據(jù)集中找出可能性較大的多個(gè)答案，得到多個(gè)備選答案；

利用所述多模態(tài)融合向量在所述多個(gè)備選答案的每個(gè)備選答案上進(jìn)行分類(lèi)，得到所述視頻對(duì)應(yīng)的問(wèn)題文本的答案。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述問(wèn)題推理網(wǎng)絡(luò)的訓(xùn)練過(guò)程包括：

通過(guò)自監(jiān)督學(xué)習(xí)的方式為所述問(wèn)題推理網(wǎng)絡(luò)構(gòu)造一個(gè)視頻事件識(shí)別任務(wù)；

為所述視頻對(duì)應(yīng)的問(wèn)題文本構(gòu)造出所述視頻事件識(shí)別任務(wù)的標(biāo)注；

利用所述標(biāo)注作為自監(jiān)督信號(hào)，對(duì)所述問(wèn)題推理網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練；

收集多個(gè)視頻和與多個(gè)視頻分別對(duì)應(yīng)的問(wèn)題文本以及問(wèn)題文本對(duì)應(yīng)的正確答案，將每個(gè)視頻與該視頻對(duì)應(yīng)的一個(gè)問(wèn)題文本以及該問(wèn)題文本對(duì)應(yīng)的正確答案作為一組訓(xùn)練材料，得到多組訓(xùn)練材料；

將所述多組訓(xùn)練材料輸入預(yù)訓(xùn)練后的問(wèn)題推理網(wǎng)絡(luò)中，對(duì)所述預(yù)訓(xùn)練的問(wèn)題推理網(wǎng)絡(luò)繼續(xù)進(jìn)行訓(xùn)練，得到所述問(wèn)題推理網(wǎng)絡(luò)。