[發(fā)明專利]一種基于深度時空圖的人體行為識別方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811196370.1
• 申請日: 2018-10-15
• 公開（公告）號: CN109299702B
• 公開（公告）日: 2020-10-27
• 發(fā)明（設(shè)計）人: 侯振杰;李興;林恩;莫宇劍;巢新;楊天金
• 申請（專利權(quán)）人: 常州大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明屬于圖像數(shù)據(jù)處理技術(shù)領(lǐng)域，公開了一種基于深度時空圖的人體行為識別方法及系統(tǒng),通過構(gòu)建3D人體面具獲取主要活動部位的深度數(shù)據(jù)，去除數(shù)據(jù)中的冗余信息；將深度幀投影到三個正交軸上得到與每個軸相對應(yīng)的分布列表，二值化分布列表后按時序拼接生成深度時空圖DSTM(Depth Space?Time Maps)；對DSTM提取方向梯度直方圖(HOG)特征用于行為識別。實驗表明本發(fā)明能有效提高人體行為識別的準確性；解決了當前基于深度序列的人體行為識別方法中存在的冗余數(shù)據(jù)過多、時序信息缺失等問題。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種基于深度時空圖的人體行為識別方法及系統(tǒng)。

背景技術(shù)

目前，業(yè)內(nèi)常用的現(xiàn)有技術(shù)是這樣的：

人體行為識別研究有著廣泛的人機交互應(yīng)用，包括體感游戲，智能監(jiān)視系統(tǒng)等。人體行為識別最初使用彩色攝像機捕捉人體的視頻序列。文獻引入運動能量圖(motionenergy images，MEI)與運動歷史圖(motion history images，MHI)作為時空模板，模擬視頻序列中人體行為的空間與時序特征。文獻提出了一種用于計算MHI密集運動流的分層擴展算法。基于彩色圖像序列的人體行為識別算法主要缺點是對光照變化敏感，大大地限制了識別的穩(wěn)健性。

隨著成像技術(shù)的發(fā)展，特別是微軟體感設(shè)備Kinect推出，使得基于深度圖像序列的人體行為識別研究成為可能。相比于彩色序列，深度序列優(yōu)勢明顯。深度序列可以提供信息更為豐富的3D人體數(shù)據(jù),并且深度序列對光照條件不敏感，相較于彩色序列深度序列更容易進行前景提取和獲取人體目標部位的信息。至今已經(jīng)探索了多種深度序列的表示方法，包括3D點、時空深度長方體、深度運動圖(depth motion maps，DMM)、表面法線、骨骼關(guān)節(jié)等。

文獻將深度圖投影到三個正交平面上，通過累積整個視頻序列的全局活動信息生成DMM，使用三張2D灰度圖片表征整個深度視頻序列，并計算DMM的梯度直方圖作為特征進行分類。在DMM基礎(chǔ)上，結(jié)合使用局部二進制模式(local binary patterns，LBP)獲取更為緊致的特征表示。DMM能較好的表征人體行為的深度圖序列，但同樣存在著一些不足。首先人體行為有時只是某些主要部位的運動，使用整個人體的深度數(shù)據(jù)進行行為識別，無疑會產(chǎn)生大量的冗余信息，影響識別精度。DMM為了減少冗余，對深度幀進行了圖片差分，在此基礎(chǔ)上進行能量累積。但是由于主要運動部位以外的人體無法保證完全的靜止，所以效果并不理想。其次DMM無法描述人體行為的時序性，只是對人體時空行為的一種靜態(tài)描述。所以DMM無法區(qū)分正放與倒放行為，即一組軌跡相同時序相反的行為對，例如抬手與放手。

綜上所述，現(xiàn)有技術(shù)存在的問題是：

(1)當前基于深度序列的人體行為識別方法中的冗余數(shù)據(jù)過多，不僅包含目標部位的深度信息，而且包含大量對行為識別無用的靜止部位深度信息，嚴重地影響了識別精度。

(2)當前深度序列的特征圖時序信息缺失，無法識別一組軌跡相同時序相反的行為對，例如抬手與放手。

(3)當前深度序列的特征圖無法兼顧行為的空間信息與時序信息。

解決上述技術(shù)問題的難度和意義：

難度：正放、倒放行為是一組空間上軌跡相同，時序相反的行為對，所以要求用來描述的整個深度序列的行為特征不僅能反映出行為的空間信息，也要能夠反映出行為的時序信息。這是現(xiàn)有技術(shù)比較難解決的問題。

意義：本發(fā)明通過生成三張DSTM特征圖并在此基礎(chǔ)上提取HOG特征，很好的實現(xiàn)了這一要求。DSTM特征圖相較于MEI蘊含了更為豐富的空間信息，相較于MHI不僅蘊含了更為豐富的空間信息而且拓展了時序信息，相較于DMM在保留了較高的空間信息的同時，加入了時序信息，實現(xiàn)了空間信息與時序信息的兼顧。本發(fā)明在識別正放倒放行為對上有著優(yōu)勢明顯。

發(fā)明內(nèi)容