[發明專利]基于多模態異構圖注意力網絡的深度視頻理解知識圖譜構建方法

有效

• 申請號: 202111434458.4
• 申請日: 2021-11-29
• 公開（公告）號: CN114186069B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 董文龍;毛啟容;姚慶
• 申請（專利權）人: 江蘇大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06N5/02;G06N3/0464;G06N3/08;G06V10/82;G06V20/40;G06V40/20;G06V10/74;G06V10/40
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種基于多模態異構圖注意力網絡的深度視頻理解知識圖譜構建方法，將音頻片段、每段音頻對應的文本以及人物和物品送入人物/位置重識別系統，提取對齊后的人物、音頻、文本、關鍵幀以及物品的特征；將提取的特征送入多模態異構圖注意力網絡，預測人物與人物以及人物與位置之間的關系，根據預測的關系生成知識圖譜。本發明利用多模態異構圖注意力網絡預測人物與人物、人物與位置之間的關系，能顯著提高預測關系的準確率。

技術領域

本發明屬于視頻語義理解技術領域，具體涉及一種基于多模態異構圖注意力網絡的深度視頻理解知識圖譜構建方法。

背景技術

隨著網絡、計算機以及攝影設備的普及與發展，視頻在互聯網中占有越來越大的比重，觀看視頻是人們娛樂的重要方式之一；然而視頻的復雜性也限制其進一步的應用。視頻語義理解，其目標是從視頻中獲取描述視頻內容的容量小、易于理解的信息，如標簽、視頻標題、視頻字幕和知識圖譜等，從而增強人類、機器理解視頻內容的能力，在人機交互、視頻檢索、推薦系統以及智慧公安等領域有著廣泛的應用。

2015年，首個基于深度學習的視頻描述模型LRCN被提出。2016年，微軟公布大規模視頻描述數據集MSR-VTT，為視頻描述任務提供了很好的語料庫；但使用自然語言描述視頻存在諸多弊端，如：注釋是特定于語言，很難定量測試性能，并且很難在后續的自動數據處理中使用。2018年，MovieGraphs中使用知識圖譜描述視頻語義；但其使用短的視頻片段，不能理解不同角色之間的關系，也不能深入理解視頻上下文。2020年至今，從長視頻中抽取知識圖譜(深度視頻語義理解，DVU)的任務被提出；但目前的方法無法充分利用多模態的數據，也未利用關系間潛在的聯系。

發明內容

針對現有技術中存在不足，本發明提供了一種基于多模態異構圖注意力網絡的深度視頻理解知識圖譜構建方法，提高預測視頻中人物與人物、人物與位置之間關系的準確率。

本發明是通過以下技術手段實現上述技術目的的。

基于多模態異構圖注意力網絡的深度視頻理解知識圖譜構建方法，具體為：

音頻片段、每段音頻對應的文本以及人物和物品送入人物/位置重識別系統，將音頻、文本、人物、關鍵幀根據基本事實進行對齊，提取對齊后的人物、音頻、文本、關鍵幀以及物品的特征；

將提取的特征送入多模態異構圖注意力網絡，預測人物與人物以及人物與位置之間的關系，根據預測的關系生成知識圖譜；

所述預測人物與人物以及人物與位置之間的關系，具體為：

若兩個人物同時出現在一個關鍵幀中，生成關系對T＝T_α∪T_β，其中T_α表示人物-人物之間的關系，T_β表示人物-位置之間的關系；

若兩個人物沒有同時出現在一個關鍵幀中，而人物所在背景中存在同類物品，對話涉及相同實體和主題，則認為人物-人物、人物-位置之間存在聯系，生成異構圖G＝{V，E}，其中：V是節點集合，包括關系對、物品、實體和主題節點，E是邊集合，若關系涉及到相同的物品、主題或實體，則在關系對T-關系對T、關系對T-物品、關系對T-主題、關系對T-實體之間建立一條邊；

所述異構圖G按照特征傳播規則進行特征傳播，得到關系的特征，利用預測人物與人物、人物與位置之間的關系；

其中：B_s表示關注矩陣，其第v行第v′列的元素為δ_vv′s；H^(l)表示第l層所有關系對T節點的特征，表示第l層屬于語義s的節點的特征，是可訓練的參數，σ是激活函數，s_r，k是H中一個節點的特征，表示第k個場景中第r個關系對經多模態異構圖注意力網絡處理后的特征，p_r，k表示預測得分，R表示關系的種類。