[發明專利]利用幀-字幕自監督進行多模態視頻問答的方法

有效

• 申請號: 202110017595.1
• 申請日: 2021-01-07
• 公開（公告）號: CN112860945B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 張宏達;胡若云;沈然;葉上維;丁麒;王慶娟;陳金威;熊劍峰;丁瑩;趙洲;陳哲乾;李一夫;丁丹翔;姜偉昊
• 申請（專利權）人: 國網浙江省電力有限公司;國網浙江省電力有限公司營銷服務中心;浙江大學;杭州一知智能科技有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06V10/80;G06V10/82;G06V10/771;G06K9/62;G06N3/08
• 代理公司: 杭州華鼎知識產權代理事務所(普通合伙) 33217
• 代理人: 項軍

1.利用幀-字幕自監督進行多模態視頻問答的方法，其特征在于，包括以下步驟：

S1：針對輸入的視頻、問答文本、字幕文本，提取其中的視頻幀特征、問答特征、字幕特征、字幕建議特征；

S2：將視頻幀特征和問答特征引入注意力機制進行融合得到帶注意力幀特征；將字幕建議特征和問答特征引入注意力機制進行融合得到帶注意力字幕特征；將所有帶注意力幀特征和帶注意力字幕特征堆疊得到融合特征；基于融合特征計算得到時間注意力得分；

S3：利用時間注意力得分計算得到問題的時間邊界；

S4：利用融合特征與時間注意力得分計算得到問題答案；

S5：利用問題的時間邊界和問題答案訓練神經網絡；

S6：優化神經網絡的網絡參數，得到最優神經網絡，利用最優神經網絡進行視頻問答并劃定時間邊界；

所述將所有帶注意力幀特征和帶注意力字幕特征堆疊得到融合特征包括：

將所有帶注意力幀特征和帶注意力字幕特征堆疊，得到V_f∈R^T×128和S_f∈R^T×128；

將V_f和S_f相乘得到相似矩陣Sim_f∈R^T×T；

分別將視頻幀對應相似矩陣和字幕對應的相似性矩陣分別與帶注意力的幀特征V_f和帶注意力機制的字幕特征S_f相乘：

S_fatt＝Sim_fS_f,S_fatt∈R^T×128，

得到的結果進行融合得到融合特征F∈R^T×128：

F＝([V_fatt；s_fatt；V_fatt⊙S_fatt；V_fatt+S_fatt])W₂+b₂，

其中W₂和b₂代表待訓練的權重矩陣；

所述基于融合特征計算得到時間注意力得分包括：

對于得到的融合特征F∈R^T×128，通過一個全連接層和sigmoid函數計算得到時間注意力得分A_k∈R^T，所述時間注意力得分用于反映了視頻幀和問題的相關程度,

A_k＝sigmoid(WF+b)

其中W為F的參數矩陣，負責將F∈R^T×128投影至R^T空間，b為偏移項，sigmoid代表sigmoid函數；

所述利用時間注意力得分計算得到問題的時間邊界包括：

得到的時間注意力得分為A_k∈R^T，設定一個閾值A_t,大于閾值A_t的時間段作為時間邊界的候選方案；

對于每個時間邊界的候選方案，計算從開始到結束的精細化得分A_P：

其中st代表開始時刻，ed代表結束時刻.α用來控制時間長度；選擇精細化劃分得分最高的作為問題時間邊界劃分方案{st,ed}。