[發明專利]一種視頻時序動作的檢測方法、裝置及設備

有效

• 申請號: 202110861491.9
• 申請日: 2021-07-29
• 公開（公告）號: CN113609948B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 杜吉祥;彭肖肖;張洪博;翟傳敏;雷慶
• 申請（專利權）人: 華僑大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/62;G06V10/762;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/094
• 代理公司: 廈門智慧呈睿知識產權代理事務所(普通合伙) 35222
• 代理人: 郭福利

本發明提供了一種視頻時序動作的檢測方法、裝置及設備,方法包括:獲取視頻數據,并提取所述視頻數據的視頻特征；將所述視頻特征輸入至錨分支網絡以及無錨分支網絡，以獲取所述錨分支網絡輸出的第一輸出結果，及所述無錨分支網絡輸出的第二輸出結果，其中，所述錨分支網絡以及所述無錨分支網絡并行處理所述視頻特征；調用對齊損失函數對所述第一輸出結果及所述第二輸出結果進行融合處理，生成時序動作定位結果集。解決了現有技術中對數據集的動作標注往往很模糊的問題。

技術領域

本發明涉及計算機視覺領域，特別涉及一種視頻時序動作的檢測方法、裝置及設備。

背景技術

時序動作定位是視頻處理中一項極具挑戰性的任務，其旨在時間軸上定位動作的開始和結束位置，同時還要預測動作的種類。與圖像領域的目標檢測算法類似，時序動作定位算法也可分為一階段和兩階段算法；

當前大多數時序動作定位方法都是遵循兩階段范式的算法，兩階段范式算法雖然可以使得模型的精度很高，但是由于逐步微調過程使得其應用效率降低，開發一種高效的端到端的一階段算法迫在眉睫。一階段算法要求定位和分類一步完成，具有速度快、推理簡單等優點。在一階段時序動作定位算法中，可大致分為兩大類：Anchor?Based和AnchorFree方法。在Anchor?Based的算法中，這種方式通過先驗估計一系列固定尺度大小的時間錨框，然后基于這些錨框執行定位和分類任務。這種方式雖然可以通過密集分布錨框而覆蓋所有的真實動作實例，但是在實現過程中卻很難找到這種先驗估計。Anchor?Free方法則繼承了目標檢測Anchor?Free算法的特點，在動作區域內的時序點上回歸到動作邊界的偏移，同時對該時序點進行動作類別級的劃分。這種方法雖然緩解了固定先驗框帶來的問題，但是現有數據集的動作標注往往很模糊，使得Anchor?Free方法定位很難

有鑒于此，提出本申請。

發明內容

本發明公開了一種視頻時序動作的檢測方法、裝置及設備，旨在解決現有技術中，對數據集的動作標注往往很模糊的問題。

本發明第一實施例提供了一種視頻時序動作的檢測方法,包括:

獲取視頻數據,并提取所述視頻數據的視頻特征；

將所述視頻特征輸入至錨分支網絡以及無錨分支網絡，以獲取所述錨分支網絡輸出的第一輸出結果，及所述無錨分支網絡輸出的第二輸出結果，其中，所述錨分支網絡以及所述無錨分支網絡并行處理所述視頻特征；

調用對齊損失函數對所述第一輸出結果及所述第二輸出結果進行融合處理，生成時序動作定位結果集。

優選地，所述獲取視頻數據,并對所述視頻數據的視頻特征，具體為：

以預設的幀率對所述視頻數據進行拆解，以獲得所述視頻數據的視頻幀序列；

調用光流算法運算所述視頻數據，以提取出所述視頻數據的光流圖像；

調用經過預訓練的I3D模型，將所述視頻幀序列及所述光流圖像分別輸入至所述I3D模型中，以獲得對應的RGB特征和Flow特征；

將所述RGB特征和Flow特征進行拼接，生成所述視頻特征。

優選地，所述將所述視頻特征輸入至錨分支網絡，以獲取所述錨分支網絡輸出的第一輸出結果具體為：

調用SSD目標檢測算法進行預定義一系列多尺度的時序錨框；

對所述一系列多尺度的時序錨框進行回歸和分類操作，以獲得所述第一輸出結果，其中，所述輸出結果包括動作分類的分數、動作提名評價分數、以及回歸的偏移值。

優選地，所述將所述視頻特征輸入至無錨分支網絡，以獲取所述無錨分支網絡輸出的第二輸出結果具體為：

調用無錨目標檢測算法，對所述視頻特征進去區分為前景點和背景點；