[發(fā)明專利]一種基于多模態(tài)特征融合的視頻深度關(guān)系分析方法

在審

• 申請?zhí)枺?/td>: 202011038812.7
• 申請日: 2020-09-28
• 公開（公告）號: CN112183334A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計）人: 任桐煒;武港山;于凡;王丹丹;張貝貝
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/246;G10L25/24;G06F40/30;G06F16/36;G06F16/35
• 代理公司: 南京天翼專利代理有限責(zé)任公司 32112
• 代理人: 奚銘

一種基于多模態(tài)特征融合的視頻深度關(guān)系分析方法，基于視頻分幕和場景、人物識別的視覺、聲音和文字特征融合網(wǎng)絡(luò)，首先將輸入視頻根據(jù)場景、視覺和聲音模型分為多個幕，并在每個幕上提取對應(yīng)的聲音和文字特征，然后根據(jù)輸入的場景截圖和人物截圖識別出現(xiàn)在各幕中的位置，并對場景和人物提取對應(yīng)的實體視覺特征，同時對每兩個實體對計算聯(lián)合區(qū)域的視覺特征；對于每個實體對，將幕特征、實體特征和實體對特征連接后通過小樣本學(xué)習(xí)結(jié)合零樣本學(xué)習(xí)預(yù)測每幕實體對間的關(guān)系，通過合并視頻每幕上的實體關(guān)系，構(gòu)建整個視頻上的實體關(guān)系圖。本發(fā)明利用實體關(guān)系圖可以回答知識圖填充、問題回答和實體關(guān)系路徑三類深度視頻分析問題。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域，涉及視頻中實體關(guān)系檢測，具體為一種基于多模態(tài)特征融合的視頻深度關(guān)系分析方法。

背景技術(shù)

長視頻上不同實體間的深度關(guān)系分析有助于長視頻的深度理解，這往往需要根據(jù)已知信息推斷隱藏的信息。長視頻上的深度關(guān)系分析致力于構(gòu)建場景和人物兩類實體間的關(guān)系圖。通過實體關(guān)系圖，可以回答對視頻深度分析的各種問題。

類似的關(guān)于視頻理解的工作包括視頻歸納、行為識別、視覺關(guān)系檢測和社交關(guān)系識別，但是這些工作一般適用于短視頻，且缺少對不同實體間關(guān)系轉(zhuǎn)變的深度分析，對于長視頻分析，仍然存在以下問題：

1)短視頻內(nèi)容相對較少，往往只有一個場景，人物不多，用于短視頻分析的現(xiàn)有技術(shù)不能解決多個實體，包括人物、場景間的關(guān)系預(yù)測；

2)對短視頻的分析難以進行合并，對未同框?qū)嶓w間的關(guān)系無法預(yù)測。

同時，現(xiàn)有技術(shù)的分析方法大多適用于有足夠訓(xùn)練樣本的情況，而長視頻的深度關(guān)系分析任務(wù)則有部分關(guān)系不存在訓(xùn)練樣本。因此現(xiàn)有的技術(shù)不能解決長視頻上的深度關(guān)系分析。

發(fā)明內(nèi)容

本發(fā)明要解決的問題是長視頻的深度理解，目的是構(gòu)建長視頻上的實體關(guān)系圖并利用關(guān)系圖進行視頻的深度分析。

本發(fā)明的技術(shù)方案為：一種基于多模態(tài)特征融合的視頻深度關(guān)系分析方法，建立多模態(tài)特征融合網(wǎng)絡(luò)，用于識別視頻中的實體關(guān)系圖，網(wǎng)絡(luò)輸入包括視頻、場景截圖及場景名稱和人物截圖及人物名稱，輸出為對應(yīng)場景和人物間的關(guān)系圖；所述多模態(tài)特征融合網(wǎng)絡(luò)的實現(xiàn)為：首先將輸入視頻根據(jù)場景、視覺和聲音模型分為多個片段，每個片段為一個幕，并在每個幕中提取聲音和文字特征作為幕特征，然后根據(jù)給定的場景截圖和人物截圖識別它們出現(xiàn)在各幕中的位置，并對場景和人物提取對應(yīng)的實體特征，同時對每兩個實體計算實體對特征，對于每個實體對，將幕特征、實體特征和實體對特征連接后，通過小樣本學(xué)習(xí)結(jié)合零樣本學(xué)習(xí)預(yù)測每幕實體對間的關(guān)系，合并視頻每幕上的實體對關(guān)系，得到整個視頻中的實體關(guān)系圖作為網(wǎng)絡(luò)輸出。

進一步的，本發(fā)明包括以下步驟：

多模態(tài)特征融合網(wǎng)絡(luò)的實現(xiàn)包括以下步驟：

1)采用多模態(tài)幕分割方法將輸入的視頻分割為多個片段，每個片段為一個幕，一個幕對應(yīng)一個場景；

2)根據(jù)給定的場景截圖，在步驟1)分割出的每個幕中采用SURF特征匹配將場景截圖與幀進行匹配，各個幕選取匹配點總數(shù)最高的場景為幕所對應(yīng)的場景，場景的軌跡在時間上為整個片段，在空間上是片段中每個幀的畫面區(qū)域；

3)根據(jù)給定的人物截圖，在步驟1)分割出的每個幕中采用人體跟蹤方法和人臉檢測識別方法進行人物的識別和跟蹤，并且通過SURF特征匹配將人物截圖與幀進行匹配作為人臉識別的補充，得到人物實體包圍框及其在幕中的軌跡；

4)在步驟1)分割出的每個幕中對音頻提取梅爾頻率倒譜系數(shù)MFCC和對數(shù)梅爾能量LMFE特征，并計算MFCC特征和LMFE特征的一階差分和二階差分，得到每個幕的聲音特征；

5)對輸入視頻自動生成字幕，并根據(jù)時間軸對應(yīng)到步驟1)分割出的每個幕上，采用BERT網(wǎng)絡(luò)生成幕的文字特征；