[發(fā)明專利]一種基于Gabor濾波器三維卷積神經(jīng)網(wǎng)絡(luò)模型的人體動(dòng)作識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710884152.6
• 申請(qǐng)日: 2017-09-26
• 公開（公告）號(hào): CN107506756A
• 公開（公告）日: 2017-12-22
• 發(fā)明（設(shè)計(jì)）人: 王田;李嘉錕;陳陽(yáng);陶飛
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/02
• 代理公司: 北京科迪生專利代理有限責(zé)任公司11251
• 代理人: 楊學(xué)明,顧煒

技術(shù)領(lǐng)域

本發(fā)明涉及模式識(shí)別技術(shù)領(lǐng)域，特別涉及一種基于Gabor濾波器三維卷積神經(jīng)網(wǎng)絡(luò)模型的人體動(dòng)作識(shí)別方法。

背景技術(shù)

近幾年，監(jiān)控設(shè)備被應(yīng)用在各行各業(yè)，現(xiàn)代機(jī)場(chǎng)、車站、醫(yī)院等公共場(chǎng)景覆蓋了成千上萬(wàn)的監(jiān)控裝置，由于視頻資料眾多，單靠安保人員分析，濾除正常場(chǎng)景下的正常行為，及時(shí)發(fā)現(xiàn)異常行為，是一個(gè)很大的工作量，而隨著分析數(shù)量的增多，人員的注意力和工作效率會(huì)產(chǎn)生明顯的下降，為了將人從大量的分析理解中解放出來(lái)，研究一種智能視頻監(jiān)控方法具有重要意義。

智能監(jiān)控系統(tǒng)主要涉及三部分的內(nèi)容：視頻中運(yùn)動(dòng)信息的提取，即提取視頻中的運(yùn)動(dòng)目標(biāo)，由于監(jiān)控系統(tǒng)是固定的，所以這部分主要是提取視頻中前景目標(biāo)的運(yùn)動(dòng)信息；行為特征的提取，智能監(jiān)控系統(tǒng)中的一大挑戰(zhàn)，要具有唯一性、魯棒性等特點(diǎn)，提取特征；異常行為檢測(cè)，分為基于規(guī)則的檢測(cè)，如檢測(cè)目標(biāo)是否違反了某些預(yù)定義的規(guī)則，和基于統(tǒng)計(jì)的檢測(cè)，即在大量的樣本中找到行為的模式，使用模式識(shí)別的方法和模型進(jìn)行異常行為識(shí)別。

本發(fā)明以人體動(dòng)作識(shí)別為主，采用卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行實(shí)現(xiàn)，通過實(shí)現(xiàn)進(jìn)行對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，神經(jīng)網(wǎng)絡(luò)即可完成對(duì)人體動(dòng)作的識(shí)別。不同于一般的卷積神經(jīng)網(wǎng)絡(luò)，本發(fā)明中采用Gabor濾波器替換了部分卷積核，利用其對(duì)圖像的紋理特征敏感的特性，提高特征提取的效果，從而提升識(shí)別的準(zhǔn)確率。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的在于提供一種識(shí)別視頻中人體動(dòng)作的方法，并且能相比現(xiàn)有方法具有更高的準(zhǔn)確率與適應(yīng)范圍。

為了達(dá)到上述目的，本發(fā)明提出的技術(shù)方案為：一種基于Gabor濾波器三維卷積神經(jīng)網(wǎng)絡(luò)模型的人體動(dòng)作識(shí)別方法，包括如下步驟：

(1)數(shù)據(jù)預(yù)處理

讀取視頻，將可包含一個(gè)完整動(dòng)作的最少相鄰幀數(shù)合并在一起形成三維數(shù)據(jù)結(jié)構(gòu)，以其作為原始輸入數(shù)據(jù)，所述的動(dòng)作包括步行、跑步、揮手等動(dòng)作；

(2)基于Gabor濾波器的三維卷積神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)算法中包含訓(xùn)練和測(cè)試兩個(gè)過程，訓(xùn)練過程中通過有監(jiān)督學(xué)習(xí)過程，對(duì)于多類別的數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)采用交叉熵作為損失函數(shù)，并通過梯度下降法完成對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)的調(diào)整，使神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)數(shù)據(jù)的特征提取與模式識(shí)別能力，測(cè)試過程是將動(dòng)作數(shù)據(jù)輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)即可輸出對(duì)該數(shù)據(jù)的識(shí)別結(jié)果。

本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：

本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：本發(fā)明具有檢測(cè)精度高、使用范圍廣等特點(diǎn)，可廣泛應(yīng)用于學(xué)校、街道等公共場(chǎng)景的視頻信息處理。

附圖說(shuō)明

圖1為本發(fā)明卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖以及具體實(shí)施方式進(jìn)一步說(shuō)明本發(fā)明。

本發(fā)明一種用于人體動(dòng)作識(shí)別的基于Gabor濾波器的三維卷積神經(jīng)網(wǎng)絡(luò)，具體實(shí)現(xiàn)步驟如下：

(1)數(shù)據(jù)預(yù)處理

讀取視頻，將可包含一個(gè)完整動(dòng)作的最少相鄰幀數(shù)合并在一起形成三維數(shù)據(jù)結(jié)構(gòu)，以其作為原始輸入數(shù)據(jù)，這里的動(dòng)作包括步行、跑步、揮手等動(dòng)作；

(2)基于Gabor濾波器的三維卷積神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)算法中包含訓(xùn)練和測(cè)試兩個(gè)過程，訓(xùn)練過程中通過有監(jiān)督學(xué)習(xí)過程，對(duì)于多類別的數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)采用交叉熵作為損失函數(shù)，并通過梯度下降法完成對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)的調(diào)整，使神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)數(shù)據(jù)的特征提取與模式識(shí)別能力。測(cè)試過程是將動(dòng)作數(shù)據(jù)輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)即可輸出對(duì)該數(shù)據(jù)的識(shí)別結(jié)果。

如上所述，本發(fā)明采用三維卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)人體動(dòng)作識(shí)別，其中將部分卷積核轉(zhuǎn)為人工核Gabor濾波器，其計(jì)算方法如下，

x′＝xsinθcosφ

y′＝y(tǒng)sinθsinφ

z′＝zcosθ

其中x,y,z為三維卷積核坐標(biāo)，λ為波長(zhǎng)，θ,φ為濾波器方向，σ為高斯核標(biāo)準(zhǔn)差。

具體的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，由12層組成。

(1)Input：輸入層為原始數(shù)據(jù)，這里選取連續(xù)16幀作為一個(gè)動(dòng)作的最小幀數(shù)，圖像分辨率為40*60。

(2)Gabor：本層采用Gabor濾波器作為卷積核，選取13個(gè)作為一組卷積核提取動(dòng)作特征，為使特征提取全面且提升訓(xùn)練速度，濾波器參數(shù)預(yù)設(shè)值如表1所示，其參數(shù)可通過訓(xùn)練進(jìn)行調(diào)整。

(3)P1：本層為池化層，采用步長(zhǎng)為2，大小為2*2的最大池化，可提高網(wǎng)絡(luò)的訓(xùn)練速度并避免過擬合現(xiàn)象。

表1