[發明專利]同類行為多視圖間相似度挖掘方法及行為識別方法

有效

• 申請號: 201310268884.4
• 申請日: 2013-06-28
• 公開（公告）號: CN103310233A
• 公開（公告）日: 2013-09-18
• 發明（設計）人: 王傳旭;劉云;閆春娟
• 申請（專利權）人: 青島科技大學
• 主分類號: G06K9/64
• 分類號: G06K9/64
• 代理公司: 青島聯智專利商標事務所有限公司 37101
• 代理人: 李升娟

技術領域

本發明屬于視圖圖像處理技術領域，具體地說，是涉及同類行為多視圖間相似度挖掘方法及基于該相似度挖掘方法的行為識別方法。

背景技術

視覺識別和理解人類行為仍然是計算機視覺中的一個活躍的研究領域，很好解決這個問題有許多應用潛力，如視頻檢索、大型視頻結構化檔案、視頻監控、人機交互、手勢識別和視頻編輯等。近年來，行為理解已有很多不同的方法。由于人體姿態輪廓具有鮮明的語義，可以鮮明地表述行為類別，因此，人體姿態輪廓的時間轉化關系常常作為有效的行為描述。在行為識別過程中，同一種行為由于攝像機的方位不同會得到不同的姿態視圖。而在實際應用中，常常并不能預先知道攝像相機位置，或者云臺上攝像機通常是旋轉角度不斷變化的，因此，一個可靠和通用的行為識別系統，應該對攝像機參數和不同視圖的觀察角度具有魯棒性，也即實現視角無關性的行為識別。

申請號為200910081092.X的中國發明專利，公開了一種基于幾何不變量的視角不變的行為識別方法，該方法是在軌跡數據庫中選取人體關鍵運動部位頭、手和腳的行為軌跡作為數據對象，運動軌跡由一序列的離散點在時間軸上的位置分布構成。然后，利用具有投影不變性的交比作為不同角度的同類行為的共性構造和計算軌跡點的視角不變量，然后訓練支持向量機，進行行為識別。該方法存在著下述缺點：（a）提取關鍵人體運動部位頭、手和腳的行為軌跡，會受到遮擋、光照變化、分割這些部位不準確等因素的干擾，在實際應用中會導致行為方法不具有魯棒性，錯誤幾率增大；（b）由于實際應用中的干擾，會導致運動部位頭、手和腳的“質心”位置錯誤，導致行為軌跡出現偏差，使得軌跡點的交比計算也會出現較大誤差，影響識別精度。

申請號為200810232110.5的中國發明專利，公開了一種視角無關的動作識別方法，該方法按照以下步驟實施：首先同步采集正面、傾斜、側面３個方向下的人體視頻數據，預處理采集到的視頻數據得到二值人體輪廓信息，根據３個方向下的二值人體輪廓信息進行人體３維體態的雕刻重建；然后提取人體運動過程的動態部分形成運動動態能量體及３維體態的運動權值模型，采用３維偽Ｚｅｒｎｉｋｅ矩進行比例不變、位移不變、旋轉不變的特征描述；最后使用條件隨機場為每一個動作建立概率圖模型，并進行識別。該識別方法的缺點是：（a）在實際應用中提取二值人體輪廓的方法，會受到遮擋、光照變化等因素的干擾，使得人體輪廓失真；（b）根據正面、傾斜、側面３個方向下的二值人體輪廓信息進行人體３維體態的雕刻重建時，需要計算三種視圖間的對應配點，不僅運算量較大，而且由于對應點特征不突出，易造成匹配錯誤。

發明內容

本發明的目的之一是提供一種同類行為多視圖間相似度挖掘方法，利用時空特征點方法實現姿態建模，并通過遞歸圖挖掘多視圖間的遞歸相似度，避免了依賴于背景分割而容易導致人體姿態失真的問題，提高了相似度挖掘的精度。

為實現上述發明目的，本發明采用下述技術方案予以實現：

一種同類行為多視圖間相似度挖掘方法，所述方法包括下述步驟：

a1、獲取同類行為不同視角下的多段視頻流，每段視頻流對應于一個視角下的視圖，對每個視圖中的每幀圖像作灰度變換，獲得多幀灰度圖像；

a2、逐幀計算每幀灰度圖像中每個像素點的Hessian矩陣，對每個Hessian矩陣計算矩陣行列式值的絕對值，作為每個像素點的Hessian矩陣響應；

a3、將Hessian矩陣響應與設定響應閾值進行比較，大于設定響應閾值的Hessian矩陣響應對應的像素點作為特征點，獲得每個視圖中的所有特征點；

a4、構建每個特征點的時空特征描述符，將每個視圖中每幀圖像所包含的所有特征點的時空特征描述符進行降維，獲得該幀圖像的姿態描述向量；

a5、將每個視圖內每幀圖像的姿態描述向量作為底層特征，根據下式計算相似度遞歸圖矩陣???????????????????????????????????????????????：

式中，、為該同類行為下的第個和第個視圖，是第個或第個視圖內第幀圖像和第幀圖像的姿態描述向量的自相似度距離、或是第個視圖內第幀圖像和第個視圖內第幀圖像的姿態描述向量的互相似度距離，，，為每個視圖中所包含的視頻幀數；

a6、以相似度遞歸圖矩陣中對角線上的每個矩陣元素為圓心，依次劃定半徑為r的個半圓形鄰域；?

a7、計算每個鄰域內所包含的矩陣元素的梯度方向分布向量，作為一個遞歸性描述符，個半圓形鄰域共獲得個遞歸性描述符；