[發明專利]一種基于動作連貫性的弱監督時序動作定位方法有效

申請號：	201910575033.1	申請日：	2019-06-28
公開（公告）號：	CN110348345B	公開（公告）日：	2021-08-13
發明（設計）人：	王樂;翟元浩;劉子熠	申請（專利權）人：	西安交通大學
主分類號：	G06K9/00	分類號：	G06K9/00;G06N3/04
代理公司：	西安通大專利代理有限責任公司 61200	代理人：	安彥彥
地址：	710049 ***	國省代碼：	陜西;61
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于動作連貫性監督時序定位方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【權利要求書】：

1.一種基于動作連貫性的弱監督時序動作定位方法，其特征在于，包括以下步驟：

步驟1，將待處理視頻分為多個不重合片段，獲取每個片段的RGB特征和光流特征；

步驟2，對步驟1獲得的RGB特征和光流特征分別進行動作片段回歸處理，獲得RGB動作片段和光流動作片段；所述動作片段回歸處理包括：對于待處理視頻的每個時間點，枚舉不同預設長度的假想的動作片段，對于不同長度的動作片段使用預定的回歸神經網絡進行回歸，回歸神經網絡使用動作連貫性損失函數進行訓練，并獲得動作片段；

步驟3，通過動作連貫性損失函數評價步驟2得到的RGB動作片段和光流動作片段的置信程度；使用非最大值抑制過濾掉重合度超過閾值的動作片段；

步驟4，回歸神經網絡訓練結束后；經過一個無參數的融合模塊，篩選融合RGB動作片段和光流動作片段，得到最后的定位結果；

其中，步驟2中，動作片段回歸處理具體包括：對于片段長度為P的動作片段，使用下式進行回歸：

式中，x_s為開始邊界的序號，x_e為結束邊界的序號，為在開始邊界位置回歸的結果，為在結束邊界位置回歸的結果；

步驟2和步驟3中，動作連貫性損失函數由兩部分組成；

一部分用來表征動作片段特征與其上下文特征的余弦相似度；假設該動作片段與其上下文的特征分別用如下符號表示其中，F(u)為視頻在時間點為u的特征，這部分的計算表達式為：

另一部分用分類置信度來表征：

其中，S(k,u)表示在類別k下，時間點u的分類置信度；對于動作片段[x_s,x_e]，將其擴充到[X_s,X_e]，其中作為該片段的上下文信息；

動作連貫性損失函數的表達式為：

L＝αL_c+(1-α)(L_a-1)

其中，α為超參數，取值為0＜α＜1。

2.根據權利要求1所述的一種基于動作連貫性的弱監督時序動作定位方法，其特征在于，步驟1具體包括：將待處理視頻分為多個不重合片段；對每個片段平均取樣，使用卷積神經網絡提取取樣幀的特征，將提取獲得的特征作為該片段的表示；其中，分別對RGB和光流提取特征。