[發明專利]一種基于關系建模的弱監督視頻動作定位模型的訓練方法

有效

• 申請號: 202110186978.1
• 申請日: 2021-02-10
• 公開（公告）號: CN112883868B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 張天柱;張勇東;占永昆;吳楓
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/77;G06V10/764;G06V10/774;G06V10/80
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

本發明公開了一種基于關系建模的弱監督視頻動作定位模型的訓練方法，包括：構建初始動作定位模型，其中，初始動作定位模型包括：特征提取模塊、視頻內關系更新模塊、跨視頻關系更新模塊、分類與定位模塊；對樣本視頻進行特征提取輸出初始視頻特征；對初始視頻特征進行處理得到視頻內關系特征；對視頻內關系特征進行處理得到背景與前景分離的跨視頻特征；根據內關系特征和跨視頻特征對初始動作定位模型進行訓練，并通過訓練后的動作定位模型對視頻進行動作定位。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種基于關系建模的弱監督視頻動作定位模型的訓練方法。

背景技術

弱監督時序動作定位試圖從一段未裁剪的視頻中，在僅給定視頻級別類別標簽監督的情況下，定位出所有的動作片段。如今，動作定位技術已經廣泛應用于眾多領域，如視頻監控，自動駕駛，視頻檢索，體育視頻集錦生成等。

隨著深度學習的發展，弱監督視頻動作定位技術有著很大的進步。然而現有的方法往往是先得到片段級別的類別得分，再通過注意力機制和閾值進行篩選，得到閾值較大的連續片段作為動作片段輸出。一些文獻直接通過時序類別激活圖來進行定位。一些學者使用條件隨機場，聚類，背景損失的方式去解決視頻神經網絡在分類時候關注的視頻片段碎片化問題。雖然現階段時序檢測任務發展迅速，但這些方法往往將視頻片段看作是相互獨立的個體，未能對視頻內以及視頻間進行建模，這使得現有方法在面對背景復雜，場景多變的實際應用中時，產生動作定位不完整，動作背景混淆兩大問題，給弱監督定位的實際應用帶來巨大的挑戰。

發明內容

有鑒于此，本申請提供了一種基于關系建模的弱監督視頻動作定位模型的訓練方法，以期至少部分的解決上述提及的技術問題之一。

在本發明實施方式的第一方面中，提供了一種基于關系建模的弱監督視頻動作定位模型的訓練方法，包括：

構建初始動作定位模型，其中，上述初始動作定位模型包括：特征提取模塊、視頻內關系更新模塊、跨視頻關系更新模塊、分類與定位模塊；

通過上述特征提取模塊對樣本視頻進行特征提取，輸出具有相同動作特征標簽的第一初始視頻特征和第二初始視頻特征，其中，上述第一初始視頻特征和上述第二初始視頻特征分別包括多個視頻片段特征；

通過上述視頻內關系更新模塊對上述第一初始視頻特征和上述第二初始視頻特征中的視頻片段特征分別進行處理，以更新上述第一初始視頻特征和上述第二初始視頻特征，得到第一視頻內關系特征和第二視頻內關系特征；

通過上述跨視頻關系更新模塊對上述第一視頻內關系特征和上述第二視頻內關系特征進行處理，得到跨視頻融合特征，根據上述跨視頻融合特征和上述第一初始視頻特征生成第一跨視頻特征，根據上述跨視頻融合特征和上述第二初始視頻特征生成第二跨視頻特征；

根據上述第一視頻內關系特征和上述第一跨視頻特征，以及/或者上述第二視頻內關系特征和上述第二跨視頻特征，輸入上述分類與定位模塊，以訓練上述初始動作定位模型，得到訓練后的動作定位模型。

根據本發明實施例，上述通過上述特征提取模塊對樣本視頻進行特征提取，輸出具有相同動作特征標簽的第一初始視頻特征和第二初始視頻特征包括：

通過上述特征提取模塊對樣本視頻進行特征提取，得到初始視頻特征集；

從上述初始視頻特征集中隨機采樣，輸出上述第一初始視頻特征和上述第二初始視頻特征。

根據本發明實施例，上述通過上述視頻內關系更新模塊對上述第一初始視頻特征和上述第二初始視頻特征中的視頻片段特征分別進行處理，以更新上述第一初始視頻特征和上述第二初始視頻特征，得到第一視頻內關系特征和第二視頻內關系特征包括：

分別對上述第一初始視頻特征和上述第二初始視頻特征進行降維處理，得到降維后的上述第一初始視頻特征和上述第二初始視頻特征；