[發(fā)明專利]一種基于長時程深度時空網(wǎng)絡(luò)的行為識別方法

在審

• 申請?zhí)枺?/td>: 201810071442.3
• 申請日: 2018-01-25
• 公開（公告）號: CN108319905A
• 公開（公告）日: 2018-07-24
• 發(fā)明（設(shè)計）人: 孫寧;宦睿智;李曉飛
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 南京蘇科專利代理有限責(zé)任公司 32102
• 代理人: 姚姣陽

一種基于長時程深度時空網(wǎng)絡(luò)的行為識別方法，包括如下步驟：構(gòu)建多通道特征拼接網(wǎng)絡(luò)模型；選取視頻行為數(shù)據(jù)集，提取視頻行為數(shù)據(jù)集中每個視頻的彩色圖像序列數(shù)據(jù)集和光流圖像序列數(shù)據(jù)集；將彩色圖像序列數(shù)據(jù)集和光流圖像序列數(shù)據(jù)集按照連續(xù)多幀分為若干片段，片段輸入多通道特征拼接網(wǎng)絡(luò)模型，先經(jīng)過低層提取每個片段連續(xù)幀的時空特征，再由中層拼接生成每個視頻片段的整體時空特征，并將每個視頻片段的整體時空特征按片段順序串接形成視頻的整體時空特征，然后在高層融合視頻的整體時空特征，最后通過softmax層輸出該視頻行為的分類結(jié)果。本發(fā)明通過提取長時程多幀圖像序列中的時空特征來識別視頻中的復(fù)雜行為，提高了視頻復(fù)雜行為的識別率和魯棒性。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像識別技術(shù)領(lǐng)域，具體涉及一種基于長時程深度時空網(wǎng)絡(luò)的行為識別方法。

背景技術(shù)

基于視頻的行為識別廣泛應(yīng)用于安全和行為分析等許多領(lǐng)域。在行為識別領(lǐng)域，有兩個關(guān)鍵和互補的方面：外觀和動態(tài)。識別系統(tǒng)的性能在很大程度上取決于能否從中提取和利用相關(guān)信息。然而，由于諸如尺度變化，視點變化和相機(jī)運動等許多復(fù)雜性，提取此類信息是較為困難的。因此，設(shè)計能夠應(yīng)對這些挑戰(zhàn)的有效特征，同時保留行為類別的分類信息變得至關(guān)重要。最近，卷積網(wǎng)絡(luò)（ConvNets）在分類物體，場景和復(fù)雜事件的圖像方面取得了巨大的成功。ConvNets也被用來解決視頻行為識別問題。Deep ConvNets具有很強的建模能力，能夠借助大規(guī)模的監(jiān)督數(shù)據(jù)集，從原始視覺數(shù)據(jù)中學(xué)習(xí)特征表示。然而，與圖像分類不同的是，深度網(wǎng)絡(luò)仍然無法比基于視頻的動作識別的傳統(tǒng)手工特性獲得顯著的優(yōu)勢。

ConvNet在視頻行動識別中的應(yīng)用受到兩大障礙的阻礙。首先，長時時間結(jié)構(gòu)在理解動作視頻中的動態(tài)過程中起著重要的作用。然而，主流的ConvNet框架通常集中在外觀和短期動作上，因此缺乏融合長時程時間結(jié)構(gòu)的能力。其次，在實踐中，深度訓(xùn)練需要大量訓(xùn)練樣本才能達(dá)到最佳性能。但是，由于數(shù)據(jù)收集和注釋的困難，公眾可用的動作識別數(shù)據(jù)集（例如UCF101，HMDB51）在大小和多樣性方面仍然有限。

發(fā)明內(nèi)容

本發(fā)明的目的在于：提供一種基于長時程深度時空網(wǎng)絡(luò)的行為識別方法，通過提取長時程多幀圖像序列中的時空特征來識別視頻中的復(fù)雜行為，提高了視頻復(fù)雜行為的識別率和魯棒性。

為了達(dá)到以上目的，提供一種基于長時程深度時空網(wǎng)絡(luò)的行為識別方法，包括如下步驟：

S1、構(gòu)建多通道特征拼接網(wǎng)絡(luò)模型；

S2、選取視頻行為數(shù)據(jù)集，提取視頻行為數(shù)據(jù)集中每個視頻的視頻幀和光流幀，將視頻幀的集合作為彩色圖像序列數(shù)據(jù)集，光流幀的集合作為光流圖像序列數(shù)據(jù)集；

S3、將彩色圖像序列數(shù)據(jù)集和光流圖像序列數(shù)據(jù)集按照連續(xù)多幀分為若干片段，片段輸入多通道特征拼接網(wǎng)絡(luò)模型，先經(jīng)過低層卷積層提取每個片段連續(xù)幀的時空特征，再由中層拼接生成每個視頻片段的整體時空特征，并將每個視頻片段的整體時空特征按片段順序串接形成視頻的整體時空特征，然后在高層融合視頻的整體時空特征，最后通過softmax層輸出該視頻行為的分類結(jié)果。

本發(fā)明的優(yōu)選方案是：優(yōu)選地，還包括S4、訓(xùn)練多通道特征拼接網(wǎng)絡(luò)模型，采用預(yù)訓(xùn)練參數(shù)加快每路卷積神經(jīng)網(wǎng)絡(luò)收斂速度，進(jìn)行遷移學(xué)習(xí)。

優(yōu)選地，多通道特征拼接網(wǎng)絡(luò)模型包括3個通道輸入、90層網(wǎng)絡(luò)和1個輸出，3個通道輸入分別為原始視頻幀圖像輸入、X方向光流特征圖像輸入和Y方向光流特征圖像輸入，90層網(wǎng)絡(luò)的前87層為分別對應(yīng)3個通道輸入的三路并行卷積神經(jīng)網(wǎng)絡(luò)，每路卷積神經(jīng)網(wǎng)絡(luò)均為29層且結(jié)構(gòu)相同，90層網(wǎng)絡(luò)的第88、89、90層為全連接層，輸出為softmax層。