[發(fā)明專利]一種應(yīng)用模板匹配方法的弱監(jiān)督單個動作定位方法

有效

• 申請?zhí)枺?/td>: 201910193601.1
• 申請日: 2019-03-14
• 公開（公告）號: CN109977819B
• 公開（公告）日: 2020-04-24
• 發(fā)明（設(shè)計）人: 陳沅濤;王進;陳曦;王志;丁林;段振春;劉燚;蔡周沁雄
• 申請（專利權(quán)）人: 長沙理工大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62
• 代理公司: 廣州嘉權(quán)專利商標事務(wù)所有限公司 44205
• 代理人: 伍傳松

本發(fā)明公開了一種應(yīng)用模板匹配方法的弱監(jiān)督單個動作定位方法，包括：在視頻每一幀中給出若干動作主體位置的候選框區(qū)域，按照時間順序把這些候選框連接形成動作提名；利用訓(xùn)練集視頻中部分視頻幀求得動作模板，其中與動作模板匹配誤差越小的動作提名越能接近動作實際位置；利用動作提名與動作模板訓(xùn)練動作定位模型完成動作定位操作。該方法是弱監(jiān)督性質(zhì)，訓(xùn)練時將動作真實位置看成是隱變量，利用動作模板在短時間內(nèi)完成模型參數(shù)的學(xué)習(xí)，動作定位準確，受相機抖動影響較小，并且可以處理任意長度視頻，方法應(yīng)用范圍廣泛。

技術(shù)領(lǐng)域

本發(fā)明涉及運動視頻的動作定位技術(shù)領(lǐng)域，具體涉及一種應(yīng)用模板匹配方法的弱監(jiān)督單個動作定位方法。

背景技術(shù)

計算機視覺中動作定位任務(wù)不僅需要在空間上和時序上完成定位動作操作，而且需要確定動作類別。即：不僅需要確定動作在視頻每個視頻幀上的具體實際位置，而且需要確定動作從什么時刻開始到什么時刻結(jié)束，以及視頻中動作是什么類別動作。動作定位有著廣泛實際應(yīng)用前景，比如：警方需要確定犯罪分子逃跑路線或街頭斗毆經(jīng)過以及球迷希望集中觀看足球場上精彩射門瞬間等具體應(yīng)用環(huán)境。

近些年來，計算機視覺領(lǐng)域針對視頻動作定位的研究工作已有部分研究成果，其中大部分只能達到在時序上對動作進行定位操作，無法在空間上對動作進行定位。現(xiàn)有的能夠?qū)崿F(xiàn)動作時空定位的方法大致可分為兩類：一種是強監(jiān)督方法；另一種是弱監(jiān)督方法。強監(jiān)督方法定位操作的主要缺點是必須需要針對數(shù)據(jù)集中視頻每幀圖像逐一完成標注操作，使得科研人員把大部分時間消耗在標注數(shù)據(jù)集這種簡單重復(fù)工作中，犧牲真正研究算法的寶貴時間。弱監(jiān)督方法通過利用從網(wǎng)絡(luò)上下載圖像來幫助定位人的實際動作，減小標注數(shù)據(jù)集所花費時間精力，但是獲取合適的網(wǎng)絡(luò)圖像、處理網(wǎng)絡(luò)圖像同樣存在難度。

發(fā)明內(nèi)容

現(xiàn)有動作時空定位方法中，強監(jiān)督方法數(shù)據(jù)集標注工作量大且容易標錯，弱監(jiān)督方法難以獲取網(wǎng)絡(luò)圖像，為克服這一缺陷，本發(fā)明的目的是提出一種應(yīng)用模板匹配方法的弱監(jiān)督單個動作定位方法，本方法只需要針對視頻做類別標注和極少的視頻幀級別標注操作，能夠大大減少處理數(shù)據(jù)集的寶貴時間，同時也不用借助上述網(wǎng)絡(luò)圖像搜集過程。

為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

一種應(yīng)用模板匹配方法的弱監(jiān)督單個動作定位方法，包括：

對數(shù)據(jù)集中訓(xùn)練集的每類視頻均選取部分視頻幀，每一幀均用標注框人工標注動作主體位置，提取標注框的VGG特征，形成每類動作的動作模板M，表示為：M＝dim×n，式中dim為VGG特征的維度，_n為標注框個數(shù)；

構(gòu)建基于模板匹配的動作定位模型；

模型訓(xùn)練：對訓(xùn)練集中單個視頻的每一幀給出動作主體的若干個候選框，然后按時間順序連接候選框形成多個候選動作軌跡，得到該訓(xùn)練視頻的動作提名，即為樣本提名，提取該訓(xùn)練視頻的C3D特征和對應(yīng)的樣本提名的C3D特征，將該訓(xùn)練視頻的每個樣本提名分別與動作模板相匹配，通過設(shè)置約束條件使動作定位模型對該訓(xùn)練視頻進行正確的類別判定，并選擇與動作實際位置最接近的樣本提名作為該訓(xùn)練視頻中動作主體的位置，輸出對應(yīng)的模型參數(shù)；

模型測試：對測試集中單個視頻的每一幀給出動作主體的若干個候選框，然后按時間順序連接候選框形成多個候選動作軌跡，得到該測試視頻的動作提名，即為目標提名，提取該測試視頻的C3D特征和對應(yīng)的目標提名的C3D特征，代入訓(xùn)練好的動作定位模型，利用確定的模型參數(shù)確定動作類別和動作位置。

優(yōu)選的，候選框的獲取方法為YOLOv3、EdgeBoxes和Objectness方法，其中YOLOv3方法用于在每一幀上提取動作主體的候選框，EdgeBoxes和Objectness用于在每一幀上提取物體的候選框，連接候選框時優(yōu)先連接YOLOv3候選框，在出現(xiàn)丟失檢測幀時采用EdgeBoxes或Objectness候選框替代。