[發明專利]基于體感攝像機的人體活動識別的特征提取方法

在審

• 申請號: 201410330879.6
• 申請日: 2014-07-11
• 公開（公告）號: CN104091167A
• 公開（公告）日: 2014-10-08
• 發明（設計）人: 程洪;趙洋;楊路
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 成都信博專利代理有限責任公司 51200
• 代理人: 卓仲陽

技術領域

本發明涉及模式識別技術領域，具體而言是一種基于體感攝像機的人體活動識別的特征提取方法。

背景技術

人體活動理解在運動訓練、康復工程、人機工效學、游戲與動畫制作、安全監控等方面得到了廣泛應用。人體活動是人體肢體語言的主要部分，通過身體和四肢活動既可以表達人的思想實現溝通，也可以反饋身體的健康狀態，還可以捕獲生物的運動規律。

人體活動理解的核心技術主要是目標識別算法。目前為止，理論上的有益探索使得基于傳統2D亮度信息的活動識別算法取得了一定的成功。然而，真實世界的活動仍然受到多視點、尺度變化、平移變換、外貌變化、光照變化、復雜背景等的挑戰。基于RGB圖像的方法在復雜背景中感知人體的關節姿勢的形狀方面遇到巨大的障礙。當目標顏色和紋理不一致時，深度信息有別于RGB外貌信息成為人類識別活動的重要線索。其主要原因是深度信息對于光照和顏色改變較為魯棒，且表述簡單。然而，早期的深度傳感器昂貴且由于使用激光而不便于在人的環境中使用。從2010年起，微軟公司提供的商品化、廉價的且便于使用的Kinect，使得利用3D深度數據直接廣泛應用在人體活動識別中成為可能。然而，由于人體的非剛性、運動方式的多樣性、位移的隨意性，實時、魯棒地識別人體仍面臨著很多挑戰。

現有技術中，基于體感攝像機的動作特征提取主要有兩類方法：一類利用體感攝像機SDK(Software?Development?Kit，軟件開發包)獲取骨骼信息作為特征；另外一類從原始深度圖像數據中提取圖像特征。前者主要受限于骨架提取的準確性，后者僅利用深度信息，受限于深度信息的低分辨率和不準確性。

發明內容

本發明的目的是提供一種基于體感攝像機的人體活動識別的特征提取方法，用于提升動作識別的準確性和魯棒性。

實現本發明目的的技術方案如下：一種基于體感攝像機的人體活動識別的特征提取方法，包括

S1：從體感攝像機的彩色圖像序列中，提取人體活動時空興趣點p，其坐標為(x,y,t)；

S2：以人體活動時空興趣點p為中心，計算彩色圖像序列中光流直方圖HOF特征和梯度直方圖HOG特征；

S3：從體感攝像機的深度圖像序列中，找到對應的人體活動時空興趣點p，以人體活動時空興趣點p為中心，計算局部深度特征LDP；

S4：將人體活動時空興趣點p的光流直方圖HOF特征、梯度直方圖HOG特征和局部深度特征LDP連接起來，組成特征S_p＝(x,y,t,HOG,HOF,LDP)。

進一步地，所述計算彩色圖像序列中光流直方圖HOF特征的方法為：以人體活動時空興趣點p為中心，將局部時空小塊按x,y,t方向均分成3×3×2共18個小格，將0度至360度的光流方向劃分成0度至90度、90度至180度、180度至270度和270度至360度這四個主方向，外加一個光流量為零的方向；計算每個像素位置所得光流，之后在這五個方向做量化和直方圖統計，得到每個小格的統計結果為一個五維向量，18個小格按x,y,t的順序順次連接可得到一個90維的光流直方圖HOF特征；所述計算彩色圖像序列中梯度直方圖HOG特征的方法為：以人體活動時空興趣點p為中心，將局部時空小塊按x,y,t方向均分成3×3×2共18個小格，將0度至360度的梯度方向劃分成0度至90度、90度至180度、180度至270度和270度至360度這四個主方向；計算每個像素位置所得梯度，之后在這四個方向做量化和直方圖統計，得到每個小格的統計結果為一個四維向量，18個小格按x,y,t的順序順次連接可得到一個72維的梯度直方圖HOG特征。

進一步地，所述計算局部深度特征LDP的方法為：以人體活動時空興趣點p為中心，選取N×N個像素的方格，把方格分成M×M個區塊，其中每個區塊包含N²/M²個像素；計算每個區塊里的像素深度值的平均值；計算任意兩個區塊平均值的差；將差值組合，并做歸一化處理，生成局部深度特征LDP。

本發明的有益效果在于，基于體感攝像機的人體活動識別的特征提取方法，避免了骨骼信息不穩定的缺陷，克服了現有深度圖像活動特征提取方法不準確的問題，有效結合彩色信息和深度信息，提取的特征提升了動作識別的準確性和魯棒性。

附圖說明

圖1是本發明的流程圖。

具體實施方式

如圖1所示，一種基于體感攝像機的人體活動識別的特征提取方法，包括以下步驟