[發明專利]一種基于時序類別激活圖互補的弱監督視頻行為檢測方法

有效

• 申請號: 201910630472.8
• 申請日: 2019-07-12
• 公開（公告）號: CN110516536B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 俞俊;朱素果;方振影;曾煥濱
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/04
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種基于時序類別激活圖互補的弱監督視頻行為檢測方法。本發明步驟如下：1、對視頻數據和視頻的類別標注進行預處理，2、特征嵌入模塊，來學習嵌入后的特征，3、在線生成時序類別激活圖，4、生成時序類別激活圖的互補激活圖，5、生成檢測結果，6、模型訓練，利用反向傳播算法訓練神經網絡參數。本發明提出一種弱監督時序行為檢測領域中在線生成時序類別激活圖并基于此生成互補激活圖的方法，以及在弱監督時序行為檢測中更加適用的特征嵌入結構，并且獲得了目前在弱監督時序行為檢測領域中的較好效果，相比于原始的時序類別激活圖的方法性能有了很大提升。

技術領域

本發明涉及一種針對弱監督視頻行為檢測(Weakly Supervised TemporalAction Detection，WSTAD)的深度神經網絡，尤其涉及一種在線生成時序類別激活圖的方法以及對學習時序類別激活圖的補充區域進行建模表達。

背景技術

視頻分析是計算機視覺領域的一個重要領域，主要是對于已有視頻進行分析得到需要的內容。視頻分析包含了很多熱門的研究方向，如視頻行為分類(ActionRecognition)，視頻描述(Video Caption)，視頻行為檢測(Temporal Action Detection)，弱監督視頻行為檢測(Weakly Supervised Temporal Action Detection)等。視頻行為檢測的目標是給一段長視頻模型來檢測出視頻中發生的一個或多個行為的類別以及每個行為對應的開始時間和結束時間，視頻行為檢測的模型訓練時輸入為一個視頻和它對應的行為類別和每個類別的起止時間。弱監督視頻行為檢測的目標在于訓練數據僅僅包含輸入視頻中發生行為的類別，而沒有這些行為對應的開始時間和結束時間，但是在模型預測時需要輸出預測視頻中發生的行為的類別以及每個類別對應的起止時間。

隨著近年來深度學習的迅速發展，使用深度神經網絡，如深度卷積神經網絡(Convolutional Neural Networks,CNN)和深度循環神經網絡(Recurrent NeuralNetworks,RNN)進行特征提取、問題建模成為目前計算機視覺方向上的主流研究方向。在弱監督視頻行為檢測算法中，引入深度卷積神經網絡進行視頻的時空特征提取，同時對提取得到的特征設計適當的網絡結構進行建模，直接輸出視頻中發生的動作類別以及進一步的得到每個類別對應的起止時間是一個值得深入探索的研究問題。

在實際應用方面，弱監督視頻行為檢測算法具有非常廣泛的應用場景。例如在視頻網站的大量視頻中，自動生成體育運動(足球比賽，籃球比賽等)中的精彩片段，檢測商場監控視頻中的異常行為，同時還能夠為視頻描述等任務提供更有效的視頻數據。

綜上所述,基于弱監督視頻行為檢測算法是一個值得深入研究的方向，本課題擬從該任務中幾個關鍵的難點問題切入，解決目前方法存在的問題，并最終形成一套完整的視頻行為檢測系統。

由于自然場景下的視頻內容復雜，且視頻分辨率有高有低；這使得弱監督視頻行為檢測算法面臨巨大的挑戰。具體而言，主要存在如下三方面的難點：

(1)大部分對于視頻的特征提取都是使用3D卷積直接提取時空特征，或者使用TVL-1算法抽取出視頻中的光流，使用光流提取視頻的時序信息同時使用視頻的圖像幀提取視頻的空間信息。但是這些方法使用的特征提取器一般是使用在視頻識別數據集上預訓練的深度卷積神經網絡，對于弱監督行為檢測任務來說，這種提取到的特征并不一定是最好的。所以如何得到更加適用于弱監督行為檢測任務的視頻特征是對弱監督視頻行為檢測算法性能影響的重要因素。