[發明專利]一種無監督多視圖特征選擇的人體行為識別方法

在審

• 申請號: 201310557008.3
• 申請日: 2013-11-11
• 公開（公告）號: CN103577841A
• 公開（公告）日: 2014-02-12
• 發明（設計）人: 肖俊;馮銀付;莊越挺;計明明;張鹿鳴
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/66
• 分類號: G06K9/66
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 張法高

技術領域

本發明涉及機器學習與計算機視覺研究中的無監督學習、多視圖學習、特征選擇和人體行為識別這幾個主題，尤其涉及一種無監督多視圖特征選擇的人體行為識別方法。

背景技術

隨著現代計算機計算性能的飛速提升和計算機視覺技術，尤其是特征提取技術的發展，人們對視頻和圖像處理對象會提取不同類型的視覺特征表達。例如對圖像而言，常會提取包括全局特征，如顏色直方圖、紋理特征和輪廓外形特征，以及局部特征，如SIFT、LBP和GLOH等。而對于視頻對象，除了外觀特征（如顏色、紋理、邊緣）和運動特征（如運動歷史圖和運動能量圖特征），還會提取局部時刻特征（如STIP特征）。這種對同一對象提取多種異構類型的特征所構成的數據被稱為多視圖數據。

由于傳統的機器學習方法都是針對處理單一類型特征數據進行設計的，因此在處理多視圖數據的時候無法充分挖掘發揮多視圖數據中不同模特數據之間的關聯性，因此無法取得最佳的方法效果。雖然一種簡單的處理辦法是將這些不同類型的特征拼接起來，構成新的單類型特征，但是這種方式忽略了不同類型特征本身所存在的鑒別能力強弱上的差異性，因此也不是一種理想的處理辦法。為了解決這個問題，多視圖學習方法在最近得到興起，并成功應用到數據聚類，分類和數據降維等應用中，顯著地提高了學習方法的性能。

具體到特征選擇應用中，傳統的方法，無論是有監督學習的Fisher?Scores方法和Sparse?Multi‐output?regression方法，還是無監督的Laplacian?Score方法、Feature?Ranking和Multi‐Cluster?Feature?Selection方法，都是面向傳統的單類型特征設計的，并不是針對多視圖數據。因此在進行特征選擇的時候，傳統的特征選擇方法無法充分發揮多視圖特征優勢。

另外一方面，在基于視頻的人體行為識別研究中，雖然各種不同類型的視覺特征被不斷提出來，多特征之間如何進行組合和應用，在一些文獻中也有關的研究和討論，但是對于多特征之間如何進行快速有效的特征選擇，這方面的研究相對比較少。

針對上述問題，本發明提出一種無監督多視圖特性選擇的人體行為識別方法。與上面提到的傳統方法不同，本方法充分利用多視圖數據中不同視圖之間的內在關聯性，通過對不同類型的特征賦予不同的視圖權重，從而將多種異構類型的特征最優地組織在一起。于此同時，本方法還將不同類型特征數據內存在的數據空間結構關系考慮進來，對不同視圖分別構建表征該類型數據之間空間結構關系的圖，采用幾何拉普拉斯圖，將數據之間的幾何結構關系引入到目標函數中。通過對目標函數中特征選擇矩陣添加l_2,1范數約束，利用l_2,1范數的行稀疏特性，實現對特征分量的排序，進而實現特征選擇的功能。最后，本方法在進行識別的時候，采用特征選擇后的結果，在低維特征空間上比較待視頻數據與預先采集的視頻數據之間的相似性，可以有效地減少計算復雜性，增強方法的抗噪聲干擾能力。將該方法應用到基于視頻的人體行為識別應用中，可以快速準確地對視頻中的人體行為進行識別。

發明內容

本發明的目的是克服現有技術的不足，提供一種無監督多視圖特征選擇的人體行為識別方法。

無監督多視圖特征選擇的人體行為識別方法包括如下步驟：

1)選用公共人體行為數據集KTH作為預先采集的包含不同人體行為類型的視頻數據集，選用通過視頻采集設備錄取的人體行為視頻作為待識別的人體行為視頻；

2)對預先采集的包含不同人體行為類型的視頻數據集提取m種類型的視覺特征表達，得到該視頻數據集所對應的多視圖特征數據矩陣X＝[X⁽¹⁾,X⁽²⁾,...,X^(m)]^T，其中是第v個視圖下的特征數據矩陣，是從第i個視頻數據中提取的第v種類型的視覺特征表達，n是該視頻數據集中所包含的視頻數目；

3)對任意第v個視圖，構建該視圖相關的視覺相似圖A^(v)，定義如下：

其中，表征第i個視頻數據與第j個視頻數據在第v個視圖下的視覺相似性；

4)對任意第v個視圖，依據A^(v)計算該視圖下的幾何拉普拉斯矩陣L^(v)，計算方法如下:

L^(v)＝D^(v)-A^(v)????2

其中，D^(v)是對角矩陣，其對角位置i上的元素