[發(fā)明專利]基于空時(shí)特征的視頻行為分類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010434466.8
• 申請(qǐng)日: 2020-05-21
• 公開（公告）號(hào): CN111582230A
• 公開（公告）日: 2020-08-25
• 發(fā)明（設(shè)計(jì)）人: 徐杰;宋瑞;廖靜茹;張昱航
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06T7/269
• 代理公司: 成都正華專利代理事務(wù)所(普通合伙) 51229
• 代理人: 陳選中

本發(fā)明公開了一種基于空時(shí)特征的視頻行為分類方法，涉及視頻識(shí)別技術(shù)領(lǐng)域，其構(gòu)建的雙通道網(wǎng)絡(luò)結(jié)構(gòu)包括空間特征提取網(wǎng)絡(luò)、時(shí)間特征提取網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)以及softmax網(wǎng)絡(luò)，空間特征提取網(wǎng)絡(luò)與時(shí)間特征提取網(wǎng)絡(luò)并聯(lián)后，與特征融合網(wǎng)絡(luò)和softmax網(wǎng)絡(luò)依次串聯(lián)，所述空間特征提取網(wǎng)絡(luò)為inception網(wǎng)絡(luò)，所述時(shí)間特征提取網(wǎng)絡(luò)包括依次串聯(lián)的MotionNet網(wǎng)絡(luò)、帶OFF子網(wǎng)絡(luò)的inception網(wǎng)絡(luò)，所述MotionNet網(wǎng)絡(luò)包括下采樣網(wǎng)絡(luò)和上采樣網(wǎng)絡(luò)，所述下采樣網(wǎng)絡(luò)包括若干卷積層，所述上采樣網(wǎng)絡(luò)包括若干反卷積層，MotionNet網(wǎng)絡(luò)能大幅度提高時(shí)間流的光流提取速度，MotionNet網(wǎng)絡(luò)結(jié)合帶OFF子網(wǎng)絡(luò)的inception網(wǎng)絡(luò)能更充足的提取光流特征，通過將空間特征和時(shí)間特征融合后，利用空時(shí)特征進(jìn)行視頻分類，提高了視頻分類正確率。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻識(shí)別技術(shù)領(lǐng)域，具體而言，涉及一種基于空時(shí)特征的視頻行為分類方法。

背景技術(shù)

目前，視頻行為分類方法主要包括基于多通道的視頻行為分類方法和基于三維卷積的視頻行為分類方法。

基于多通道的視頻行為分類方法主要以two stream模型為典型代表，該模型主要包括三個(gè)部分：以提取空間特征為主要任務(wù)的空間流，以提取運(yùn)動(dòng)信息為主要特征的時(shí)間流以及融合兩部分特征的融合層。空間流將視頻的RGB幀作為輸入，利用卷積神經(jīng)網(wǎng)絡(luò)的多層網(wǎng)絡(luò)結(jié)構(gòu)，局部特征提取，逐層提取深度語(yǔ)義信息和特征選擇等特點(diǎn)提取輸入的RGB幀中所包含的物品信息。時(shí)間流將連續(xù)的光流作為輸入，利用二維卷積核將對(duì)連續(xù)的光流進(jìn)行特征提取，提取出光流中可能存在的動(dòng)作特征，利用產(chǎn)生的運(yùn)動(dòng)特征進(jìn)行視頻行為分類。融合層主要是將空間流生成的空間特征和時(shí)間流生成的動(dòng)作特征尋找合適的權(quán)重進(jìn)行融合，最終對(duì)視頻進(jìn)行行為分類，生成對(duì)應(yīng)的行為得分，將最高的得分類別作為輸出類別。

基于多通道的視頻行為分類方法存在以下缺陷：

1)使用原始的VGG網(wǎng)絡(luò)提取光流特征，其無法充分的提取光流特征。

2)使用傳統(tǒng)的光流計(jì)算方法，由于傳統(tǒng)的光流計(jì)算方法不僅需要巨大的計(jì)算力而且還需要大量的時(shí)間，導(dǎo)致基于多通道的模型速度受到光流計(jì)算方法的速度限制低于14fps。

基于三維卷積的視頻行為分類方法是使用三維卷積核對(duì)視頻行為分類，如C3D網(wǎng)絡(luò)，其使用8個(gè)卷積層逐步提取視頻中空間特征和時(shí)間特征，再使用8個(gè)卷積層來減少特征的維度，減少計(jì)算量，最后使用兩個(gè)全連接層和softmax層來綜合空時(shí)特征進(jìn)行分類。網(wǎng)絡(luò)中所使用的的所有三維卷積核都是3x3x3的大小，在時(shí)間維度和空間維度上的步長(zhǎng)都是1。每個(gè)框中表示過濾器的數(shù)量，從pool1到pool5的池化層都是三維池化層，除了pool1的池化核大小為1x2x2之外所有的池化核的尺寸都是2x2x2。在網(wǎng)絡(luò)中，所有的全連接層的神經(jīng)元都為4096個(gè)。C3D通過三維卷積可以直接對(duì)視頻進(jìn)行行為分類，這使它的速度大大提升，可以達(dá)到600幀每秒，并且準(zhǔn)確率在UCF101上可以達(dá)到85.2％。

基于三維卷積的視頻行為分類方法存在以下缺陷：

由于3D卷積操作相對(duì)于原始的二維卷積多出了一個(gè)維度，因此C3D參數(shù)量規(guī)模相比于傳統(tǒng)的基于二維卷積的模型更大，對(duì)于數(shù)據(jù)集要求更加的嚴(yán)格，需要大量的數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)，這將花費(fèi)更多計(jì)算力和計(jì)算時(shí)間。

發(fā)明內(nèi)容

本發(fā)明在于提供一種基于空時(shí)特征的視頻行為分類方法，其能夠緩解上述問題。

為了緩解上述的問題，本發(fā)明采取的技術(shù)方案如下：

一種基于空時(shí)特征的視頻行為分類方法，包括：

S1、獲取視頻數(shù)據(jù)集，將其分成訓(xùn)練集和測(cè)試集，對(duì)訓(xùn)練集進(jìn)行預(yù)處理后從中提取得到訓(xùn)練視頻RGB幀集，對(duì)測(cè)試集進(jìn)行預(yù)處理后從中提取測(cè)試視頻RGB幀集；