[發明專利]一種視頻時序動作的檢測方法、裝置及設備

有效

• 申請號: 202110861491.9
• 申請日: 2021-07-29
• 公開（公告）號: CN113609948B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 杜吉祥;彭肖肖;張洪博;翟傳敏;雷慶
• 申請（專利權）人: 華僑大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/62;G06V10/762;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/094
• 代理公司: 廈門智慧呈睿知識產權代理事務所(普通合伙) 35222
• 代理人: 郭福利

1.一種視頻時序動作的檢測方法,其特征在于,包括:

獲取視頻數據,并提取所述視頻數據的視頻特征；

將所述視頻特征輸入至錨分支網絡以及無錨分支網絡，以獲取所述錨分支網絡輸出的第一輸出結果，及所述無錨分支網絡輸出的第二輸出結果，其中，所述錨分支網絡以及所述無錨分支網絡并行處理所述視頻特征；

調用對齊損失函數對所述第一輸出結果及所述第二輸出結果進行融合處理，生成時序動作定位結果集；具體為：

調用無錨目標檢測算法，對所述視頻特征進行區分為前景點和背景點；

獲取被判定為前景點的時序點的分類分數，以及該時序點到動作邊界的距離；

錨匹配網絡是一個多任務網絡，其損失函數為多任務損失函數，包括錨分支損失函數、無錨分支損失函數和兩個分支的對齊損失函數，其數學表達式如下：

L_APMN＝L_ab+λ·L_af+γ·L_al

其中，L_APMN是總損失函數，L_ab損失函數是錨分支損失函數，用于監督錨分支網絡中定位和分類任務的訓練，L_af損失函數是無錨分支損失函數，用于監督無錨分支網絡的定位和分類任務，L_al損失函數是對齊損失函數，

其中，對齊損失函數的模型為：

其中，L_al為對齊損失函數,為錨分支網絡輸出的動作提名,為無錨分支網絡輸出的動作提名,N為常數；

其中，錨分支網絡和無錨分支網絡共享時序位置點，所述時序位置點包括前景點和背景點，對齊損失函數的模型用于對前景點計算損失，其中N表示兩個分支按照回歸分數排序得到的TopN個時序提名的個數，對兩個分支的TopN個時序提名，逐個計算它們之間的時序交并比tIoU；

其中，將視頻特征輸入到錨匹配網絡中，并從錨分支網絡和無錨分支網絡進行預測，對于錨分支網絡，得到分類分數S_ab、動作提名評價分數p_o和動作邊界偏移值(Δ_c,Δ_w)，對無錨分支網絡，將網絡輸出的偏移值轉化成標準的動作邊界(s_af,e_af)，將兩個分支得到的輸出結果進行融合，然后，使用Soft-NMS算法對兩個分支的融合結果進行后處理，最后得到時序動作定位結果集。

2.根據權利要求1所述的一種視頻時序動作的檢測方法,其特征在于,所述獲取視頻數據,并提取所述視頻數據的視頻特征，具體為：

以預設的幀率對所述視頻數據進行拆解，以獲得所述視頻數據的視頻幀序列；

調用光流算法運算所述視頻數據，以提取出所述視頻數據的光流圖像；

調用經過預訓練的I3D模型，將所述視頻幀序列及所述光流圖像分別輸入至所述I3D模型中，以獲得對應的RGB特征和Flow特征；

將所述RGB特征和Flow特征進行拼接，生成所述視頻特征。