[發(fā)明專利]同類行為多視圖間相似度挖掘方法及行為識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310268884.4
• 申請(qǐng)日: 2013-06-28
• 公開（公告）號(hào): CN103310233A
• 公開（公告）日: 2013-09-18
• 發(fā)明（設(shè)計(jì)）人: 王傳旭;劉云;閆春娟
• 申請(qǐng)（專利權(quán)）人: 青島科技大學(xué)
• 主分類號(hào): G06K9/64
• 分類號(hào): G06K9/64
• 代理公司: 青島聯(lián)智專利商標(biāo)事務(wù)所有限公司 37101
• 代理人: 李升娟

1.一種同類行為多視圖間相似度挖掘方法，其特征在于，所述方法包括下述步驟：

a1、獲取同類行為不同視角下的多段視頻流，每段視頻流對(duì)應(yīng)于一個(gè)視角下的視圖，對(duì)每個(gè)視圖中的每幀圖像作灰度變換，獲得多幀灰度圖像；

a2、逐幀計(jì)算每幀灰度圖像中每個(gè)像素點(diǎn)的Hessian矩陣，對(duì)每個(gè)Hessian矩陣計(jì)算矩陣行列式值的絕對(duì)值，作為每個(gè)像素點(diǎn)的Hessian矩陣響應(yīng)；

a3、將Hessian矩陣響應(yīng)與設(shè)定響應(yīng)閾值進(jìn)行比較，大于設(shè)定響應(yīng)閾值的Hessian矩陣響應(yīng)對(duì)應(yīng)的像素點(diǎn)作為特征點(diǎn)，獲得每個(gè)視圖中的所有特征點(diǎn)；

a4、構(gòu)建每個(gè)特征點(diǎn)的時(shí)空特征描述符，將每個(gè)視圖中每幀圖像所包含的所有特征點(diǎn)的時(shí)空特征描述符進(jìn)行降維，獲得該幀圖像的姿態(tài)描述向量；

a5、將每個(gè)視圖內(nèi)每幀圖像的姿態(tài)描述向量作為底層特征，根據(jù)下式計(jì)算相似度遞歸圖矩陣????????????????????????????????????????????????：

式中，、為該同類行為下的第個(gè)和第個(gè)視圖，是第個(gè)或第個(gè)視圖內(nèi)第幀圖像和第幀圖像的姿態(tài)描述向量的自相似度距離、或是第個(gè)視圖內(nèi)第幀圖像和第個(gè)視圖內(nèi)第幀圖像的姿態(tài)描述向量的互相似度距離，，，為每個(gè)視圖中所包含的視頻幀數(shù)；

a6、以相似度遞歸圖矩陣中對(duì)角線上的每個(gè)矩陣元素為圓心，依次劃定半徑為r的個(gè)半圓形鄰域；?

a7、計(jì)算每個(gè)鄰域內(nèi)所包含的矩陣元素的梯度方向分布向量，作為一個(gè)遞歸性描述符，個(gè)半圓形鄰域共獲得個(gè)遞歸性描述符；

a8、按照上述步驟a5至步驟a7依次獲得所有相似度遞歸圖矩陣的遞歸性描述符，所有遞歸性描述符構(gòu)成不同視圖下該同類行為的相似度特征集；?

a9、對(duì)相似度特征集進(jìn)行聚類，獲得M個(gè)相似度特征子集合。

2.根據(jù)權(quán)利要求1所述的相似度挖掘方法，其特征在于，在所述步驟a7中，在計(jì)算每個(gè)鄰域內(nèi)所包含的矩陣元素的梯度方向分布向量時(shí)，首先將每個(gè)半圓形鄰域劃分為若干個(gè)子區(qū)域，計(jì)算每個(gè)子區(qū)域內(nèi)所包含的矩陣元素的梯度方向分布向量，將360°范圍內(nèi)的梯度方向分為若干個(gè)方向區(qū)域，計(jì)算位于每個(gè)方向區(qū)域內(nèi)的分布向量的個(gè)數(shù)與該子區(qū)域內(nèi)所有矩陣元素的比值，將各比值構(gòu)成一個(gè)子向量，各子區(qū)域的子向量級(jí)聯(lián)為一個(gè)向量，構(gòu)成該半圓形鄰域的遞歸性描述符，個(gè)半圓形鄰域共獲得個(gè)遞歸性描述符。

3.根據(jù)權(quán)利要求1所述的相似度挖掘方法，其特征在于，在所述步驟a5中，，所述相似度遞歸圖矩陣為自相似度遞歸圖矩陣。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的相似度挖掘方法，其特征在于，在所述步驟a3中，首先將每幀圖像劃分為若干個(gè)單元區(qū)域，獲得每個(gè)單元區(qū)域所含像素點(diǎn)的Hessian矩陣響應(yīng)的極大值，并將該極大值對(duì)應(yīng)的像素點(diǎn)作為局部極值點(diǎn)，然后，再將局部極值點(diǎn)的Hessian矩陣響應(yīng)與設(shè)定響應(yīng)閾值進(jìn)行比較，大于設(shè)定響應(yīng)閾值的Hessian矩陣響應(yīng)對(duì)應(yīng)的局部極值點(diǎn)作為特征點(diǎn)。

5.一種基于上述權(quán)利要求1至4中任一項(xiàng)所述的相似度挖掘方法的行為識(shí)別方法，包括利用訓(xùn)練樣本獲得分類器和分類模板的訓(xùn)練過程及利用分類器和分類模板識(shí)別測(cè)試樣本的識(shí)別過程，其特征在于，所述訓(xùn)練過程包括下述步驟：

b1、獲取已知類型的某類行為的多視圖對(duì)應(yīng)的訓(xùn)練樣本視頻流，挖掘該訓(xùn)練樣本視頻流多視圖間的相似度特征集；

b2、對(duì)相似度特征集中的所有遞歸性描述符進(jìn)行聚類，獲得M個(gè)相似度特征子集合；

b3、采用高斯混合模型對(duì)每個(gè)相似度特征子集合建模構(gòu)建分類器，共獲得M個(gè)分類器;

b4、計(jì)算每一個(gè)相似度特征子集合所包含的描述符個(gè)數(shù)與相似度特征集中所有描述符總個(gè)數(shù)的比值，獲得M個(gè)比值構(gòu)成的向量，作為該類行為的模板；

b5、重復(fù)上述步驟b1至b4，獲得其他已知類型的行為的M個(gè)分類器及模板；

所述識(shí)別過程包括下述步驟：

c1、獲取一段待識(shí)別行為的測(cè)試樣本視頻流，挖掘該測(cè)試樣本視頻流多視圖間的相似度特征集；

c2、利用某已知類型行為的M個(gè)分類器對(duì)測(cè)試樣本中的相似度特征集進(jìn)行分類，計(jì)算每一類中所包含的描述符個(gè)數(shù)與測(cè)試樣本相似度特征集中描述符總個(gè)數(shù)的比值，獲得M個(gè)比值構(gòu)成的向量；

c3、計(jì)算該向量與該已知類型行為的模板的匹配相似度；

c4、重復(fù)步驟c2和c3，獲得測(cè)試樣本視頻流的向量與其他已知類型行為的模板的匹配相似度；

c5、讀取多個(gè)匹配相似度中的最大值，并與設(shè)定匹配相似度閾值進(jìn)行比較，根據(jù)比較結(jié)果識(shí)別出測(cè)試樣本視頻流對(duì)應(yīng)的行為。