[發明專利]一種基于弱監督文本引導的動作定位模型的訓練方法

在審

• 申請號: 202110278711.5
• 申請日: 2021-03-15
• 公開（公告）號: CN113011312A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 張勇東;張天柱;楊文飛
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F16/78;G06F16/783
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 劉歌

1.一種基于弱監督文本引導的動作定位模型的訓練方法，包括：

分別對樣本視頻和樣本文本進行特征提取，輸出第一初始視頻特征和第一初始文本特征；

根據所述第一初始視頻特征和所述第一初始文本特征計算得到第一對應性矩陣；

利用第一處理方式對所述第一初始視頻特征、所述第一初始文本特征和所述第一對應性矩陣進行處理，得到第一融合特征；

利用第二處理方式對所述第一初始視頻特征、所述第一初始文本特征和所述第一對應性矩陣進行處理，得到局部對應性矩陣；

根據所述第一融合特征、所述局部對應性矩陣和所述第一初始文本特征訓練初始動作定位模型，得到訓練后的所述動作定位模型。

2.根據權利要求1所述的方法，其中，所述分別對樣本視頻和樣本文本進行特征提取，輸出第一初始視頻特征和第一初始文本特征包括：

將所述樣本視頻劃分為N個視頻片段，分別對每個所述視頻片段進行特征提取，輸出多個第一片段視頻特征，其中，N≥1；

對每個所述第一片段視頻特征進行處理，得到所述第一初始視頻特征；以及

對所述樣本文本進行處理，得到所述樣本文本中的每個單詞的詞向量；

對每個所述詞向量進行處理，得到所述第一初始文本特征。

3.根據權利要求1所述的方法，其中，所述利用第一處理方式對所述第一初始視頻特征、所述第一初始文本特征和所述第一對應性矩陣進行處理，得到第一融合特征包括：

將所述第一對應性矩陣和所述第一初始文本特征進行加權聚合得到與所述樣本視頻候選區域自適應的第一聚合文本特征，其中，所述樣本視頻候選區域為一組起始時間和結束時間不同的視頻片段；

將所述第一聚合文本特征與所述第一初始視頻特征進行融合，得到第一初始融合特征；

對所述第一初始融合特征進行處理，以更新所述第一初始融合特征，得到最終的第一融合特征。

4.根據權利要求1所述的方法，其中，所述利用第二處理方式對所述第一初始視頻特征、所述第一初始文本特征和所述第一對應性矩陣進行處理，得到局部對應性矩陣包括：

將所述第一對應性矩陣和所述第一初始視頻特征進行加權聚合得到與樣本文本對應的聚合視頻特征；

根據所述聚合視頻特征和所述第一初始文本特征計算得到第二對應性矩陣；

將所述初始第二對應性矩陣進行歸一化處理得到最終的所述局部對應性矩陣。

5.根據權利要求1所述的方法，其中，所述根據所述第一融合特征、所述局部對應性矩陣和所述第一初始文本特征訓練初始動作定位模型，得到訓練后的所述動作定位模型包括：

將所述第一融合特征分別進行分類和排序處理，得到第一分類特征和第一排序特征；

根據所述第一分類特征和所述第一排序特征計算得到所述樣本視頻和所述樣本文本的匹配損失；以及

對所述局部對應性矩陣和所述第一初始文本特征進行加權求和處理得到重構初始文本特征；

根據所述第一初始文本特征和所述重構初始文本特征計算得到所述樣本視頻和所述樣本文本的局部對應性損失；

將所述匹配損失和所述局部對應性損失輸入損失函數，得到損失結果；

根據所述損失結果訓練所述初始動作定位模型，得到訓練后的所述動作定位模型。

6.一種動作定位方法，其中，所述方法基于如權利要求1至5任一項所述的訓練方法訓練得到的動作定位模型來實現，所述方法包括：

分別對目標視頻和目標文本進行特征提取，輸出第二初始視頻特征和第二初始文本特征；

根據所述第二初始視頻特征和所述第二初始文本特征計算得到第三對應性矩陣；

利用第一處理方式對所述第二初始視頻特征、所述第二初始文本特征和所述第三對應性矩陣進行處理，得到第二融合特征；

對所述第二融合特征進行處理，得到所述目標視頻和所述目標文本的匹配分數；

根據所述匹配分數得到最終的定位結果。