[發明專利]一種應用模板匹配方法的弱監督單個動作定位方法

有效

• 申請號: 201910193601.1
• 申請日: 2019-03-14
• 公開（公告）號: CN109977819B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 陳沅濤;王進;陳曦;王志;丁林;段振春;劉燚;蔡周沁雄
• 申請（專利權）人: 長沙理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 伍傳松

1.一種應用模板匹配方法的弱監督單個動作定位方法，其特征在于，包括：

對數據集中訓練集的每類視頻均選取部分視頻幀，每一幀均用標注框人工標注動作主體位置，提取標注框的VGG特征，形成每類動作的動作模板M，表示為：M＝dim×n，式中dim為VGG特征的維度，n為標注框個數；

構建基于模板匹配的動作定位模型；

模型訓練：對訓練集中單個視頻的每一幀給出動作主體的若干個候選框，然后按時間順序連接候選框形成多個候選動作軌跡，得到該訓練視頻的動作提名，即為樣本提名，提取該訓練視頻的C3D特征和對應的樣本提名的C3D特征，將該訓練視頻的每個樣本提名分別與動作模板相匹配，通過設置約束條件使動作定位模型對該訓練視頻進行正確的類別判定，并選擇與動作實際位置最接近的樣本提名作為該訓練視頻中動作主體的位置，輸出對應的模型參數；

模型測試：對測試集中單個視頻的每一幀給出動作主體的若干個候選框，然后按時間順序連接候選框形成多個候選動作軌跡，得到該測試視頻的動作提名，即為目標提名，提取該測試視頻的C3D特征和對應的目標提名的C3D特征，代入訓練好的動作定位模型，利用確定的模型參數確定動作類別和動作位置。

2.根據權利要求1所述的應用模板匹配方法的弱監督單個動作定位方法，其特征在于，候選框的獲取方法為YOLOv3、EdgeBoxes和Objectness方法，其中YOLOv3方法用于在每一幀上提取動作主體的候選框，EdgeBoxes和Objectness用于在每一幀上提取物體的候選框，連接候選框時優先連接YOLOv3候選框，在出現丟失檢測幀時采用EdgeBoxes或Objectness候選框替代。

3.根據權利要求1所述的應用模板匹配方法的弱監督單個動作定位方法，其特征在于，候選框連接時設定連接得分閾值，在連接得分小于該連接得分閾值時，結束相應動作提名的后續連接，其中，候選框之間的連接得分由式(1)至式(4)計算：

score＝α₁·IOU+α₂·A+α₃·S (1)；

α₁+α₂+α₃＝1 (4)；

式中，box₁和box₂代表待連接的兩個候選框，IOU表示兩個候選框的重疊度，A表示兩個候選框的面積相似性，area₁和area₂分別是兩個候選框的具體面積，S表示顏色直方圖實際相似性。

4.根據權利要求3所述的應用模板匹配方法的弱監督單個動作定位方法，其特征在于，α₁、α₂、α₃分別設為0.3、0.3、0.4。

5.根據權利要求4所述的應用模板匹配方法的弱監督單個動作定位方法，其特征在于，連接得分閾值為0.2。

6.根據權利要求1所述的應用模板匹配方法的弱監督單個動作定位方法，其特征在于，模型訓練的方法為：

設V＝{(x_i,y_i)_i＝1:N}表示訓練集，其中x_i表示第i個視頻，N是訓練集的視頻數量，Y是動作類別集合，y_i是視頻x_i的動作類別，y_i∈Y；H_i表示從視頻x_i中提取的樣本提名h_i的集合，采用公式(5)-(6)所示的判別函數F(x,h)判別與視頻動作實際位置最接近的樣本提名：

式中，Φ(x,h)是由視頻x的C3D特征和視頻x中樣本提名h的C3D特征組成的聯合特征，w_y表示與動作類別y相關的模型參數向量，w_y∈w，w為模型參數；

采用隱變量支持向量機學習判別函數F(x,h)的參數，隱變量支持向量機參數優化問題定義如下：

s.t.

式中，c₁、c₂是懲罰系數，ξ_i、是松弛變量，y′從動作類別集合Y中取值，表示與視頻x_i動作實際位置最接近的樣本提名；對Δ(y_i,y’)，當y_i≠y’時，Δ＝1，否則Δ＝0；t_j是動作類別y_j的動作模板，表示與t_j的匹配誤差，h'_i∈H_i。