[發(fā)明專利]一種基于深度相機(jī)和3D卷積神經(jīng)網(wǎng)絡(luò)的步態(tài)識別方法

有效

• 申請?zhí)枺?/td>: 201710112825.6
• 申請日: 2017-02-28
• 公開（公告）號: CN107103277B
• 公開（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 王海濱;馬勝濤
• 申請（專利權(quán)）人: 中科唯實(shí)科技（北京）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京律恒立業(yè)知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11416
• 代理人: 顧珊;龐立巖

本發(fā)明提供了一種基于深度相機(jī)和3D卷積神經(jīng)網(wǎng)絡(luò)的步態(tài)識別方法，其特征在于，包括步驟：a)利用深度相機(jī)采集行人步態(tài)的RGB?D圖像序列；b)獲取每幀圖像的步態(tài)剪影以及剪影對應(yīng)的深度圖像剪影；c)將每幀剪影圖像和深度圖像剪影組成雙通道的步態(tài)圖像；d)歸一化步態(tài)圖像序列；e)將步態(tài)圖像序列輸入3D卷積神經(jīng)網(wǎng)絡(luò)，前向傳播并輸出識別結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明是一種基于深度相機(jī)和3D卷積神經(jīng)網(wǎng)絡(luò)的步態(tài)識別方法，涉及圖像處理、模式識別、深度傳感器、深度學(xué)習(xí)等技術(shù)領(lǐng)域。

背景技術(shù)

步態(tài)識別是一種生物特征識別技術(shù)，能夠根據(jù)視頻序列中行人走路的姿態(tài)識別行人身份；與傳統(tǒng)的指紋、人臉、虹膜等生物識別技術(shù)相比，具有非接觸識別、易于隱藏，采集方便等優(yōu)勢，尤其適用于遠(yuǎn)距離場景下的目標(biāo)識別任務(wù)。深度相機(jī)是一種能夠同時記錄RGB圖像和深度圖像的傳感器，與傳統(tǒng)相機(jī)相比，能夠?yàn)槟繕?biāo)識別任務(wù)提供更豐富、更立體的圖像信息。卷積神經(jīng)網(wǎng)絡(luò)是一種常用的深度學(xué)習(xí)框架，隨著深度學(xué)習(xí)在圖像處理和模式識別方面的應(yīng)用，卷積神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用也越來越受到人們的重視，傳統(tǒng)的2D卷積神經(jīng)網(wǎng)絡(luò)是以圖像為輸入數(shù)據(jù)，提取圖像數(shù)據(jù)的空間分布特征，3D卷積神經(jīng)網(wǎng)絡(luò)是以連續(xù)的圖像序列或視頻序列為輸入，能夠同時提取輸入數(shù)據(jù)在時間和空間的分布特征。深度相機(jī)和3D卷積神經(jīng)網(wǎng)絡(luò)結(jié)合應(yīng)用將會顯著提高步態(tài)識別的準(zhǔn)確率。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供了一種基于深度相機(jī)和3D卷積神經(jīng)網(wǎng)絡(luò)的步態(tài)識別方法，其特征在于，包括步驟：a)利用深度相機(jī)采集行人步態(tài)的RGB-D圖像序列；b)獲取每幀圖像的步態(tài)剪影以及剪影對應(yīng)的深度圖像剪影；c)將每幀剪影圖像和深度圖像剪影組成雙通道的步態(tài)圖像；d)歸一化步態(tài)圖像序列；e)將步態(tài)圖像序列輸入3D卷積神經(jīng)網(wǎng)絡(luò)，前向傳播并輸出識別結(jié)果。

優(yōu)選地，所述步驟d的具體步驟為：

d1)定位步態(tài)剪影的最上和最下像素點(diǎn)，從而計(jì)算步態(tài)剪影的高度h₀；

d2)定位步態(tài)剪影的最左和最右像素點(diǎn)，從而計(jì)算步態(tài)剪影的寬度w₀；

d3)根據(jù)步態(tài)剪影的高度和寬度，計(jì)算剪影的質(zhì)心位置；

d4)給定一個縱橫比r，以質(zhì)心為中心，用w₀×h₀的矩形裁剪步態(tài)圖像，其中w₀＝h₀*r；

d5)將已裁剪的步態(tài)圖像等比例縮放到3D卷積神經(jīng)網(wǎng)絡(luò)的輸入尺寸；

d6)根據(jù)時間順序?qū)⒉綉B(tài)圖像重組成步態(tài)序列I₁,其維度為w_i×h_i×c_i×m，w₁，h₁，c₁，m₁分別為I₁的寬度，高度，通道數(shù)和序列幀數(shù)。

優(yōu)選地，所述步驟e中3D卷積神經(jīng)網(wǎng)絡(luò)前向傳播的步驟為：

e1)第一組3D卷積層，對步驟d)所得的圖像序列進(jìn)行3D卷積操作，卷積核大小為kw₁×kh₁×km₁，步長為ks₁，卷積核個數(shù)為kn₁；其卷積輸出為