[發明專利]多粒度級聯交互網絡的跨模態時序行為定位方法及裝置

有效

• 申請號: 202210052687.8
• 申請日: 2022-01-18
• 公開（公告）號: CN114064967B
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 王聰;鮑虎軍;宋明黎
• 申請（專利權）人: 之江實驗室
• 主分類號: G06F16/735
• 分類號: G06F16/735;G06F16/78;G06F16/783;G06N3/04;G06N3/08;H04N19/149;H04N19/21
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝;楊小凡

本發明公開了多粒度級聯交互網絡的跨模態時序行為定位方法及裝置，用于解決未修剪視頻中基于給定文本查詢的時序行為定位問題。本發明實施一種新的多粒度級聯跨模態交互網絡，以由粗到細的方式進行級聯跨模態交互，用以提升模型的跨模態對齊能力。此外，本發明引入了一種局部?全局上下文感知的視頻編碼器(local?global context?aware video encoder)，用于提升視頻編碼器的上下文時序依賴建模能力。本發明實現方法簡單，手段靈活，在提升視覺?語言跨模態對齊精度方面具有優勢，且訓練所得模型在成對的視頻?查詢測試數據上可顯著提升時序定位準確度。

技術領域

本發明涉及視覺-語言跨模態學習領域，尤其是涉及跨模態時序行為定位方法及裝置。

背景技術

隨著多媒體和網絡技術的迅猛發展，以及交通、校園和商場等場所大規模視頻監控的日益普及，海量的視頻數據呈現快速的幾何式增長，視頻理解已成為一個重要且亟待解決的問題。其中，時序行為定位是視頻理解的基礎和重要組成部分。基于視覺單模態的時序行為定位研究將待定位的行為限定在預定義的行為集合中，然而，在真實世界中行為復雜多樣，預定義的行為集合難以滿足真實世界的需要。如圖1所示，視覺-語言跨模態時序行為定位任務給定視頻中某段行為的文本描述作為查詢，在視頻中對相應行為片段進行時序定位。視覺-語言跨模態時序行為定位是一種非常自然的人機交互方式，該項技術在網絡短視頻內容檢索與生產、智能視頻監控以及人機交互等領域具有廣闊的應用前景。

在深度學習的推動下，視覺-語言跨模態時序行為定位任務引起了工業界和學術界的廣泛關注。由于異構的文本模態與視覺模態之間存在顯著的語義鴻溝，在從文本模態到視覺模態的跨模態時序行為定位任務中，如何實現模態間的語義對齊是一個核心問題。現有的視覺-語言跨模態時序行為定位方法主要有三類，包括基于候選片段提名的方法、免候選片段提名的方法以及基于序列決策的方法。視覺-語言跨模態對齊在現有的三類方法中均為不可或缺的重要環節。然而，現有方法在視覺-語言跨模態交互環節沒有充分利用多粒度的文本查詢信息，且在視頻表征編碼環節沒有充分建模視頻的局部上下文時序依賴特性。

發明內容

為解決現有技術的不足，在視覺-語言跨模態時序行為定位任務中，實現提升視覺-語言跨模態對齊精度的目的，本發明采用如下的技術方案：

多粒度級聯交互網絡的跨模態時序行為定位方法，包括以下步驟：

步驟S1：給定未修剪的視頻樣本，利用視覺預訓練模型進行視頻表征的初步提取，并采用局部-全局的方式，對初步提取后的視頻表征進行上下文感知的時序依賴編碼，得到最終的視頻表征，從而提升視頻表征的上下文時序依賴建模能力；

步驟S2：對于未修剪視頻相應的文本查詢，采用預訓練的詞嵌入模型，對查詢文本中各個單詞進行詞嵌入初始化，然后采用多層雙向長短時記憶網絡，進行上下文編碼，得到文本查詢的單詞級表征和全局級表征；

步驟S3：對于已提取的視頻表征和文本查詢表征，采用多粒度級聯交互網絡進行視頻模態和文本查詢模態間的交互，得到查詢引導的增強化視頻表征，從而提升跨模態對齊精度；

步驟S4：對于經過多粒度級聯交互后得到的視頻表征，采用基于注意力的時序位置回歸模塊，預測文本查詢相應的目標視頻片段時序位置；

步驟S5：對于步驟S1~S4所組成的基于多粒度級聯交互網絡的跨模態時序行為定位模型，利用訓練樣本集進行該模型的訓練，訓練時所采用的總損失函數包括注意力對齊損失和邊界損失，其中，邊界損失包括平滑損失和時序廣義交并比損失，從而更好地適應于時序定位任務的評測準則，訓練樣本集由若干{視頻，查詢，目標視頻片段時序位置標注}三元組樣本構成。

進一步地，所述步驟S1中，基于視覺預訓練模型，以離線方式提取視頻幀特征并均勻地采樣T幀，然后經過一個線性變換層，獲取一組視頻表征，為視頻第i幀的表征，進而對視頻表征采用局部-全局的方式，進行上下文感知的時序依賴編碼。