[發(fā)明專(zhuān)利]同類(lèi)行為多視圖間相似度挖掘方法及行為識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310268884.4
• 申請(qǐng)日: 2013-06-28
• 公開(kāi)（公告）號(hào): CN103310233A
• 公開(kāi)（公告）日: 2013-09-18
• 發(fā)明（設(shè)計(jì)）人: 王傳旭;劉云;閆春娟
• 申請(qǐng)（專(zhuān)利權(quán)）人: 青島科技大學(xué)
• 主分類(lèi)號(hào): G06K9/64
• 分類(lèi)號(hào): G06K9/64
• 代理公司: 青島聯(lián)智專(zhuān)利商標(biāo)事務(wù)所有限公司 37101
• 代理人: 李升娟

技術(shù)領(lǐng)域

本發(fā)明屬于視圖圖像處理技術(shù)領(lǐng)域，具體地說(shuō)，是涉及同類(lèi)行為多視圖間相似度挖掘方法及基于該相似度挖掘方法的行為識(shí)別方法。

背景技術(shù)

視覺(jué)識(shí)別和理解人類(lèi)行為仍然是計(jì)算機(jī)視覺(jué)中的一個(gè)活躍的研究領(lǐng)域，很好解決這個(gè)問(wèn)題有許多應(yīng)用潛力，如視頻檢索、大型視頻結(jié)構(gòu)化檔案、視頻監(jiān)控、人機(jī)交互、手勢(shì)識(shí)別和視頻編輯等。近年來(lái)，行為理解已有很多不同的方法。由于人體姿態(tài)輪廓具有鮮明的語(yǔ)義，可以鮮明地表述行為類(lèi)別，因此，人體姿態(tài)輪廓的時(shí)間轉(zhuǎn)化關(guān)系常常作為有效的行為描述。在行為識(shí)別過(guò)程中，同一種行為由于攝像機(jī)的方位不同會(huì)得到不同的姿態(tài)視圖。而在實(shí)際應(yīng)用中，常常并不能預(yù)先知道攝像相機(jī)位置，或者云臺(tái)上攝像機(jī)通常是旋轉(zhuǎn)角度不斷變化的，因此，一個(gè)可靠和通用的行為識(shí)別系統(tǒng)，應(yīng)該對(duì)攝像機(jī)參數(shù)和不同視圖的觀察角度具有魯棒性，也即實(shí)現(xiàn)視角無(wú)關(guān)性的行為識(shí)別。

申請(qǐng)?zhí)枮?00910081092.X的中國(guó)發(fā)明專(zhuān)利，公開(kāi)了一種基于幾何不變量的視角不變的行為識(shí)別方法，該方法是在軌跡數(shù)據(jù)庫(kù)中選取人體關(guān)鍵運(yùn)動(dòng)部位頭、手和腳的行為軌跡作為數(shù)據(jù)對(duì)象，運(yùn)動(dòng)軌跡由一序列的離散點(diǎn)在時(shí)間軸上的位置分布構(gòu)成。然后，利用具有投影不變性的交比作為不同角度的同類(lèi)行為的共性構(gòu)造和計(jì)算軌跡點(diǎn)的視角不變量，然后訓(xùn)練支持向量機(jī)，進(jìn)行行為識(shí)別。該方法存在著下述缺點(diǎn)：（a）提取關(guān)鍵人體運(yùn)動(dòng)部位頭、手和腳的行為軌跡，會(huì)受到遮擋、光照變化、分割這些部位不準(zhǔn)確等因素的干擾，在實(shí)際應(yīng)用中會(huì)導(dǎo)致行為方法不具有魯棒性，錯(cuò)誤幾率增大；（b）由于實(shí)際應(yīng)用中的干擾，會(huì)導(dǎo)致運(yùn)動(dòng)部位頭、手和腳的“質(zhì)心”位置錯(cuò)誤，導(dǎo)致行為軌跡出現(xiàn)偏差，使得軌跡點(diǎn)的交比計(jì)算也會(huì)出現(xiàn)較大誤差，影響識(shí)別精度。

申請(qǐng)?zhí)枮?00810232110.5的中國(guó)發(fā)明專(zhuān)利，公開(kāi)了一種視角無(wú)關(guān)的動(dòng)作識(shí)別方法，該方法按照以下步驟實(shí)施：首先同步采集正面、傾斜、側(cè)面３個(gè)方向下的人體視頻數(shù)據(jù)，預(yù)處理采集到的視頻數(shù)據(jù)得到二值人體輪廓信息，根據(jù)３個(gè)方向下的二值人體輪廓信息進(jìn)行人體３維體態(tài)的雕刻重建；然后提取人體運(yùn)動(dòng)過(guò)程的動(dòng)態(tài)部分形成運(yùn)動(dòng)動(dòng)態(tài)能量體及３維體態(tài)的運(yùn)動(dòng)權(quán)值模型，采用３維偽Ｚｅｒｎｉｋｅ矩進(jìn)行比例不變、位移不變、旋轉(zhuǎn)不變的特征描述；最后使用條件隨機(jī)場(chǎng)為每一個(gè)動(dòng)作建立概率圖模型，并進(jìn)行識(shí)別。該識(shí)別方法的缺點(diǎn)是：（a）在實(shí)際應(yīng)用中提取二值人體輪廓的方法，會(huì)受到遮擋、光照變化等因素的干擾，使得人體輪廓失真；（b）根據(jù)正面、傾斜、側(cè)面３個(gè)方向下的二值人體輪廓信息進(jìn)行人體３維體態(tài)的雕刻重建時(shí)，需要計(jì)算三種視圖間的對(duì)應(yīng)配點(diǎn)，不僅運(yùn)算量較大，而且由于對(duì)應(yīng)點(diǎn)特征不突出，易造成匹配錯(cuò)誤。

發(fā)明內(nèi)容

本發(fā)明的目的之一是提供一種同類(lèi)行為多視圖間相似度挖掘方法，利用時(shí)空特征點(diǎn)方法實(shí)現(xiàn)姿態(tài)建模，并通過(guò)遞歸圖挖掘多視圖間的遞歸相似度，避免了依賴(lài)于背景分割而容易導(dǎo)致人體姿態(tài)失真的問(wèn)題，提高了相似度挖掘的精度。

為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用下述技術(shù)方案予以實(shí)現(xiàn)：

一種同類(lèi)行為多視圖間相似度挖掘方法，所述方法包括下述步驟：

a1、獲取同類(lèi)行為不同視角下的多段視頻流，每段視頻流對(duì)應(yīng)于一個(gè)視角下的視圖，對(duì)每個(gè)視圖中的每幀圖像作灰度變換，獲得多幀灰度圖像；

a2、逐幀計(jì)算每幀灰度圖像中每個(gè)像素點(diǎn)的Hessian矩陣，對(duì)每個(gè)Hessian矩陣計(jì)算矩陣行列式值的絕對(duì)值，作為每個(gè)像素點(diǎn)的Hessian矩陣響應(yīng)；

a3、將Hessian矩陣響應(yīng)與設(shè)定響應(yīng)閾值進(jìn)行比較，大于設(shè)定響應(yīng)閾值的Hessian矩陣響應(yīng)對(duì)應(yīng)的像素點(diǎn)作為特征點(diǎn)，獲得每個(gè)視圖中的所有特征點(diǎn)；

a4、構(gòu)建每個(gè)特征點(diǎn)的時(shí)空特征描述符，將每個(gè)視圖中每幀圖像所包含的所有特征點(diǎn)的時(shí)空特征描述符進(jìn)行降維，獲得該幀圖像的姿態(tài)描述向量；

a5、將每個(gè)視圖內(nèi)每幀圖像的姿態(tài)描述向量作為底層特征，根據(jù)下式計(jì)算相似度遞歸圖矩陣???????????????????????????????????????????????：

式中，、為該同類(lèi)行為下的第個(gè)和第個(gè)視圖，是第個(gè)或第個(gè)視圖內(nèi)第幀圖像和第幀圖像的姿態(tài)描述向量的自相似度距離、或是第個(gè)視圖內(nèi)第幀圖像和第個(gè)視圖內(nèi)第幀圖像的姿態(tài)描述向量的互相似度距離，，，為每個(gè)視圖中所包含的視頻幀數(shù)；

a6、以相似度遞歸圖矩陣中對(duì)角線上的每個(gè)矩陣元素為圓心，依次劃定半徑為r的個(gè)半圓形鄰域；?

a7、計(jì)算每個(gè)鄰域內(nèi)所包含的矩陣元素的梯度方向分布向量，作為一個(gè)遞歸性描述符，個(gè)半圓形鄰域共獲得個(gè)遞歸性描述符；