[發(fā)明專利]一種基于3D卷積神經(jīng)網(wǎng)絡(luò)的行為識別方法

有效

• 申請?zhí)枺?/td>: 201410444276.9
• 申請日: 2014-09-02
• 公開（公告）號: CN104281853B
• 公開（公告）日: 2017-11-17
• 發(fā)明（設(shè)計）人: 郝宗波;桑楠;吳杰;余冬
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/02
• 代理公司: 電子科技大學(xué)專利中心51203
• 代理人: 張楊

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺領(lǐng)域，特別是涉及機器學(xué)習(xí)、特征匹配、模式識別和視頻圖像處理的方法。

背景技術(shù)

用計算機進行行為識別是從包含人的視頻或圖像序列中對人的行為進行理解和描述,屬于圖像分析和理解的范疇。自動檢測人以及理解人的行為的能力是智能視頻系統(tǒng)的核心功能。在最近幾年，由于社會的需要，包括工業(yè)安全、交換接口、游戲等，人們對人的行為識別的興趣不斷增加。人的行為識別的研究內(nèi)容十分豐富,主要涉及到模式識別與機器學(xué)習(xí)、圖像處理、人工智能等學(xué)科知識。下面描述行為識別使用的三種現(xiàn)有主流技術(shù)方案。

A.底層特征和時空興趣點(spatio-temporal interest points)

行為識別通常的方法包括稠密光流(dense optical flow)和時空興趣點(STIPs)。STIPs是Harris角點檢測的時空變體，它是在時域和空間域都高強度變化的區(qū)域。稠密光流已經(jīng)也應(yīng)用在行為識別。比如稠密光流軌跡，可以對運動的視頻分割前景和背景。稠密軌跡對無規(guī)則斷裂的運動比較健壯，在捕獲復(fù)雜的運動模式比較精確。但特征提取復(fù)雜，時間復(fù)雜度高，難以滿足實時性的要求。

B.輪廓

使用輪廓來分類假設(shè)了人的運動能作為一個身體姿勢的連續(xù)過程來表示。這個方法主要基于背景減除，行為描述子從一系列的輪廓中被抽取出來。一個通常的方法是累積輪廓來產(chǎn)生運動能量圖(MEI)以及運動歷史圖(MHI)。在MEI和MHI中抽取Hu矩作為描述子，運動分類基于每個已知行為和待分類的行為的矩描述子的馬氏距離，該方法對稍微復(fù)雜的運動類型分辨能力低。

C.中層和高層表示

在更高的層次，使用中高層的特征來進行行為識別，例如長時間跟蹤的軌跡和語義。一種方法是用運動軌跡來定位事件發(fā)生的位置。軌跡是被類聚的，分析類的屬性來分類行為。另一種方法是用storyline來描述行為之間偶然的關(guān)系，與或圖(AND-OR graphs)用來作為表示storyline模型的機制，對短時簡單的動作缺乏分類能力。

發(fā)明內(nèi)容

本發(fā)明針對背景技術(shù)的不足之處改進設(shè)計了一種基于3D卷積神經(jīng)網(wǎng)絡(luò)的行為識別方法，該方法對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)做了3D擴展，結(jié)合Gabor濾波器和視頻的光流信息，避免過擬合，從而達到復(fù)雜度低、計算量小、實時性高、準(zhǔn)確度高的目的。

本發(fā)明的技術(shù)方案是一種基于3D卷積神經(jīng)網(wǎng)絡(luò)的行為識別方法，該方法分為兩個階段：離線訓(xùn)練階段和在線識別階段，通過對含n類標(biāo)簽的樣本進行訓(xùn)練，獲得合適的網(wǎng)絡(luò)參數(shù)，再用該神經(jīng)網(wǎng)絡(luò)對視頻里的行為進行識別。首先是離線訓(xùn)練，通過輸入各種行為的樣本視頻，經(jīng)過計算得到不同輸出，每種輸出對應(yīng)一類行為，再根據(jù)輸出向量和標(biāo)簽向量之間的誤差修改計算過程中參數(shù)使各輸出數(shù)據(jù)誤差下降，誤差滿足要求之后，訓(xùn)練完畢，最后對各輸出根據(jù)其對應(yīng)的樣本視頻的行為名稱添加標(biāo)簽；其次進行在線識別，輸入需要行為識別的視頻，采用與訓(xùn)練階段相同的方法進行計算后輸出，再將該輸出和添加標(biāo)簽的樣本向量進行匹配，將與之最匹配的樣本標(biāo)簽名稱視為該輸入視頻的行為名稱，從而實現(xiàn)發(fā)明目的，因而該方法包括：

(一)離線訓(xùn)練

步驟1：首先進行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，輸入樣本視頻，并對該樣本視頻進行灰度化等預(yù)處理處理；

步驟2：在第一層設(shè)置5～9個通道，這些通道包括：1個灰度通道、2～6個Gabor通道、2個光流通道，其中灰度通道包含視頻的灰度圖像，Gabor通道是灰度化處理后的視頻通過不同的Gabor濾波器得到的不同響應(yīng)；

步驟3：對第一層的每個通道采用尺寸小于原視頻的2個或3個不同的3D卷積核進行3D卷積，得到含有2倍或3倍于通道數(shù)量的特征map，為第二層；

步驟4：對第二層各特征map在空間域上進行采樣單元為2×2或3×3的下采樣，時間域上進行采樣單元為2的下采樣，得到數(shù)量相同但時空分辨率減小的特征map，為第三層；

步驟5：對第三層的每個特征map采用尺寸小于該層特征map的2個或3個不同的3D卷積核進行3D卷積，得到含有2倍或3倍于第三層特征map的第四層特征map；

步驟6：對第四層各特征map在空間域上進行采樣單元為2×2或3×3的下采樣，時間域上進行采樣單元為2的下采樣，得到數(shù)量相同但時空分辨率減小的特征map，為第五層；

步驟7：第六層為100～150個尺寸為1×1的特征map，每個特征map與第五層的所有特征map全連接；