[發(fā)明專(zhuān)利]基于運(yùn)動(dòng)歷史點(diǎn)云生成的深度運(yùn)動(dòng)圖的人體行為識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810345023.4
• 申請(qǐng)日: 2018-04-17
• 公開(kāi)（公告）號(hào): CN108573231B
• 公開(kāi)（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 張良;劉婷婷
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)民航大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62
• 代理公司: 天津才智專(zhuān)利商標(biāo)代理有限公司 12108
• 代理人: 龐學(xué)欣

一種基于運(yùn)動(dòng)歷史點(diǎn)云生成的深度運(yùn)動(dòng)圖的人體行為識(shí)別方法。其包括生成MHPC；生成DMM；提取HOG特征向量；訓(xùn)練和測(cè)試SVM分類(lèi)器，最后SVM分類(lèi)器的輸出即為人體動(dòng)作分類(lèi)結(jié)果等步驟。本發(fā)明能夠獲得人體動(dòng)作不同視角下的信息，增加了對(duì)人體動(dòng)作角度變化的魯棒性。用運(yùn)動(dòng)歷史點(diǎn)云投影生成深度運(yùn)動(dòng)圖時(shí)進(jìn)行坐標(biāo)歸一化操作，增加了對(duì)動(dòng)作類(lèi)內(nèi)差異的魯棒性；從由運(yùn)動(dòng)歷史點(diǎn)云投影生成的深度運(yùn)動(dòng)圖中提取的HOG特征能夠有效地表征人體動(dòng)作類(lèi)別，解決了利用點(diǎn)云提取特征復(fù)雜的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)和圖像處理技術(shù)領(lǐng)域，具體涉及一種基于運(yùn)動(dòng)歷史點(diǎn)云(MHPC)生成的深度運(yùn)動(dòng)圖(DMM)的人體行為識(shí)別方法。

背景技術(shù)

人體行為識(shí)別的研究意義主要體現(xiàn)在它的實(shí)用價(jià)值上，其在智能視頻監(jiān)控、視頻內(nèi)容檢索、人體運(yùn)動(dòng)分析、輔助醫(yī)療等領(lǐng)域有著廣泛的應(yīng)用，國(guó)內(nèi)外的專(zhuān)家學(xué)者對(duì)此進(jìn)行了大量的研究。最初行為識(shí)別的方法大多是基于傳統(tǒng)的RGB信息，產(chǎn)生了人體關(guān)鍵姿態(tài)、剪影、時(shí)空特征等方法。但是由于RGB信息易受光照、相機(jī)角度、背景變化等因素的影響，使得行為識(shí)別仍然面臨著挑戰(zhàn)。近些年來(lái)隨著深度傳感器的發(fā)展，使得深度圖像獲取技術(shù)得到普及。相比于彩色圖像，深度圖像僅與物體的空間位置有關(guān)，能夠直接反映物體表面的三維特征，并且不易受光照變化、顏色和紋理的影響。利用深度圖像的人體行為識(shí)別方法大致包括，將深度圖像進(jìn)行投影生成深度運(yùn)動(dòng)圖像(DMM)的方法、將深度圖像映射為點(diǎn)云數(shù)據(jù)后提取特征的方法。

將一個(gè)深度圖像序列中的每一幀深度圖像投影到三個(gè)正交的笛卡爾坐標(biāo)平面上，可相應(yīng)地得到前視圖map_f，側(cè)視圖map_s，俯視圖map_t。將上述得到的三個(gè)投影視圖序列的相鄰幀做差分運(yùn)算，然后取絕對(duì)值累加，可得到深度運(yùn)動(dòng)圖像(DMM)。DMM計(jì)算簡(jiǎn)單，但是只包含三個(gè)視角下的動(dòng)作信息，因此不能方便地獲得其他視角下的動(dòng)作信息。將深度圖像映射為點(diǎn)云數(shù)據(jù)進(jìn)行人體行為識(shí)別的方法，由于得到的點(diǎn)云數(shù)據(jù)量龐大，給提取點(diǎn)云特征帶來(lái)極大的困難。中國(guó)專(zhuān)利第201610208016.0中公開(kāi)了一種生成三維的運(yùn)動(dòng)歷史體對(duì)動(dòng)作進(jìn)行表示的方法，該方法采用Harris3D對(duì)運(yùn)動(dòng)歷史體進(jìn)行特征點(diǎn)檢測(cè)，利用三維梯度方向直方圖來(lái)描述特征點(diǎn)得到特征描述子，然后對(duì)描述子進(jìn)行聚類(lèi)生成單詞包，利用詞頻分布直方圖來(lái)分類(lèi)。這種方法雖然提取了點(diǎn)云的特征，但是算法過(guò)于繁瑣，計(jì)算復(fù)雜度高。

發(fā)明內(nèi)容

為了解決上述問(wèn)題，本發(fā)明的目的在于提供一種基于運(yùn)動(dòng)歷史點(diǎn)云生成的深度運(yùn)動(dòng)圖的人體行為識(shí)別方法。

為了達(dá)到上述目的，本發(fā)明提供的基于運(yùn)動(dòng)歷史點(diǎn)云生成的深度運(yùn)動(dòng)圖的人體行為識(shí)別方法包括按順序進(jìn)行的下列步驟：

(1)將每個(gè)人體動(dòng)作樣本中已經(jīng)提取前景的多幀深度圖像通過(guò)坐標(biāo)映射得到每幀深度圖像的點(diǎn)云，然后將其填充到MHPC中，直到遍歷完所有幀的深度圖像得到該動(dòng)作的MHPC，以記錄動(dòng)作發(fā)生的空間與時(shí)間信息；

(2)將MHPC直接投影到三個(gè)正交的笛卡爾坐標(biāo)平面，分別是XOY平面、YOZ平面和XOZ平面，生成三個(gè)DMM，然后將MHPC沿順時(shí)針和逆時(shí)針?lè)较蚶@X軸、Y軸和Z軸中的任一軸旋轉(zhuǎn)θ度至少一次并投影到笛卡爾坐標(biāo)系的XOY平面，每一次旋轉(zhuǎn)后投影生成至少兩個(gè)DMM；

(3)從上述人體動(dòng)作樣本的所有DMM中提取出HOG特征向量，并進(jìn)行串聯(lián)而組合成該人體動(dòng)作樣本最終的HOG特征向量；

(4)選取所有人體動(dòng)作樣本中的部分樣本為訓(xùn)練樣本，剩余樣本為測(cè)試樣本，將訓(xùn)練樣本的HOG特征向量輸入到SVM分類(lèi)器中進(jìn)行訓(xùn)練，然后將測(cè)試樣本得到的HOG特征向量輸入上述已訓(xùn)練好的SVM分類(lèi)器中進(jìn)行測(cè)試，最后得到人體動(dòng)作分類(lèi)結(jié)果。