[發明專利]一種基于弱監督文本引導的動作定位模型的訓練方法

在審

• 申請號: 202110278711.5
• 申請日: 2021-03-15
• 公開（公告）號: CN113011312A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 張勇東;張天柱;楊文飛
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F16/78;G06F16/783
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 劉歌

本發明公開了一種基于弱監督文本引導的動作定位模型的訓練方法，包括：分別對樣本視頻和樣本文本進行特征提取，輸出第一初始視頻特征和第一初始文本特征；根據第一初始視頻特征和第一初始文本特征計算得到第一對應性矩陣；利用第一處理方式對第一初始視頻特征、第一初始文本特征和第一對應性矩陣進行處理，得到第一融合特征；利用第二處理方式對第一初始視頻特征、第一初始文本特征和第一對應性矩陣進行處理，得到局部對應性矩陣；根據第一融合特征、局部對應性矩陣和第一初始文本特征訓練初始動作定位模型，得到訓練后的動作定位模型。

技術領域

本公開屬于智能行為分析技術領域，尤其涉及一種基于弱監督文本引導的動作定位模型的訓練方法、系統及動作定位方法。

背景技術

文本引導的動作定位能夠根據給定的文本，在視頻中找到所描述的動作的起始和結束時間，在智能監控、視頻描述、視頻總結等領域有著廣泛的應用。

傳統的行為定位方法通常都是基于預定類別或者全監督的，利用預先定義進行精細化數據動作類別和邊界標注，然后訓練模型。這一過程需要預先定義好動作類型，并標注大量數據，嚴重限制了動作定位的應用性。

為了減輕對數據標注和預定動作類別的依賴，提升行為定位方法的拓展性和實用性，基于弱監督的文本引導的行為定位方法應運而生，在定位任務上也取得了較好的結果。

但是，在實現本公開實施例的過程中，發明人發現相關技術中至少存在如下問題：當前方法忽略了視頻和文本之間的細粒度對應性，導致模型容易出現定位偏差。

發明內容

有鑒于此，本公開提供了一種基于弱監督文本引導的動作定位模型的訓練方法、系統及動作定位方法。

共公開的一個方面提供了一種基于弱監督文本引導的動作定位模型的訓練方法，包括：

分別對樣本視頻和樣本文本進行特征提取，輸出第一初始視頻特征和第一初始文本特征；

根據所述第一初始視頻特征和所述第一初始文本特征計算得到第一對應性矩陣；

利用第一處理方式對所述第一初始視頻特征、所述第一初始文本特征和所述第一對應性矩陣進行處理，得到第一融合特征；

利用第二處理方式對所述第一初始視頻特征、所述第一初始文本特征和所述第一對應性矩陣進行處理，得到局部對應性矩陣；

根據所述第一融合特征、所述局部對應性矩陣和所述第一初始文本特征訓練初始動作定位模型，得到訓練后的所述動作定位模型。

根據本公開的實施例，所述分別對樣本視頻和樣本文本進行特征提取，輸出第一初始視頻特征和第一初始文本特征包括：

將所述樣本視頻劃分為N個視頻片段，分別對每個所述視頻片段進行特征提取，輸出多個第一片段視頻特征，其中，N≥1；

對每個所述第一片段視頻特征進行處理，得到所述第一初始視頻特征；以及

對所述樣本文本進行處理，得到所述樣本文本中的每個單詞的詞向量；

對每個所述詞向量進行處理，得到所述第一初始文本特征。

根據本公開的實施例，所述利用第一處理方式對所述第一初始視頻特征、所述第一初始文本特征和所述第一對應性矩陣進行處理，得到第一融合特征包括：

將所述第一對應性矩陣和所述第一初始文本特征進行加權聚合得到與所述樣本視頻候選區域自適應的第一聚合文本特征，其中，所述樣本視頻候選區域為一組起始時間和結束時間不同的視頻片段；

將所述第一聚合文本特征與所述第一初始視頻特征進行融合，得到第一初始融合特征；

對所述第一初始融合特征進行處理，以更新所述第一初始融合特征，得到最終的第一融合特征。