[發(fā)明專利]基于主題知識遷移的人體行為識別方法

有效

• 申請?zhí)枺?/td>: 201310419997.X
• 申請日: 2013-09-13
• 公開（公告）號: CN103500340B
• 公開（公告）日: 2017-02-08
• 發(fā)明（設(shè)計）人: 陳昌紅;楊順卿
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 江蘇致邦律師事務(wù)所32230
• 代理人: 樊文紅

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)及模式識別領(lǐng)域，特別涉及一種基于主題知識遷移的視角無關(guān)的人體行為識別方法。

背景技術(shù)

人體行為識別是計算機視覺領(lǐng)域備受關(guān)注的前沿方向，其中視角問題是其研究和應(yīng)用的瓶頸之處。視角無關(guān)的人體行為識別的研究不僅能夠增加視頻監(jiān)控的智能化程度，而且能夠降低多視角監(jiān)控的成本，具有廣泛的應(yīng)用前景和經(jīng)濟價值。盡管人體行為識別的研究已經(jīng)取得了一定的成果，但大部分工作都是基于固定和已知視角的，而由于人體運動、攝像機運動等原因?qū)嶋H拍攝得到的數(shù)據(jù)常常是任意角度的。不同的拍攝角度不僅會給人體圖像序列的外觀帶來很大變化，運動的過程也會有所不同。視角問題已經(jīng)成為機器視覺方面急需解決的問題。

人體運動是在3D空間中進行的，目前比較常見的視角無關(guān)的人體行為識別方面的工作就是考慮動態(tài)視角變化的環(huán)境，以多個視角的運動序列為基礎(chǔ)，融合多個角度數(shù)據(jù)，重構(gòu)出3D模型進行人體運動分析。這類方法不僅增加了算法的復(fù)雜性和計算量，而且透視投影等原因也會使重構(gòu)出的動作不準確。更重要的是在實際監(jiān)控中，同時得到多個視角的數(shù)據(jù)是比較困難的。能夠?qū)崿F(xiàn)不同視角間的行為識別是發(fā)展趨勢。根據(jù)成像平面與實際的人體平面間的幾何關(guān)系進行匹配是解決此問題的一種熱門方法，如對極幾何(epipolar?geometry)法，它提供了不同視角下圖像特征點之間的約束關(guān)系。通過分析人們對運動的感知，可以發(fā)現(xiàn)運動軌跡上速度和方向的顯著變化使人們獲得運動信息。Cen等人據(jù)此提出利用2D軌跡的時空曲率來捕捉行為的顯著變化，利用行為單元即動態(tài)瞬間和間隔來解釋行為。但這種方法需要可靠的人體關(guān)節(jié)的檢測和跟蹤，限制了此方法的應(yīng)用。遷移學(xué)習(xí)是目前比較通用的方法，遷移學(xué)習(xí)的主旨是建立不同視角學(xué)特征的橋梁，通過此橋梁可以實現(xiàn)不同視角下的特征變換到一個共同的領(lǐng)域。這類方法與基于詞袋的方法密切相連，雖然取得了比較好的識別效果，但是在視角變化較大時，比如自上而下的視角，表現(xiàn)仍不是很理想。

發(fā)明內(nèi)容

對于外觀特征改變較為明顯的不同視角下的人體行為而言，傳統(tǒng)的方法存在很大的局限性，現(xiàn)有的遷移學(xué)習(xí)方法在自上而下的視角仍不能獲得滿意的效果。本發(fā)明的目的在于提出一種對視角變化不敏感的基于主題知識遷移的視角無關(guān)的人體行為識別方法。

實現(xiàn)本發(fā)明的目的，本發(fā)明技術(shù)方案是：基于主題知識遷移的人體行為識別方法，其特征是，該方法包括如下步驟：

步驟1構(gòu)建訓(xùn)練視角和測試視角下的雙語詞典，所述雙語詞典用于將該兩個視角下同一動作的低層特征轉(zhuǎn)換成為相同表征；包括低層特征提取、中層特征表示和雙語詞典獲得三個步驟；

步驟2訓(xùn)練步驟：采用訓(xùn)練視角下的全部動作視頻，通過所述雙語詞典將該視角下不同動作的低層特征分別轉(zhuǎn)換成為表征，訓(xùn)練出識別不同動作的分類模型；

步驟3識別步驟：采用測試視角下的測試動作視頻，通過所述雙語詞典將該視角下動作的低層特征轉(zhuǎn)換成為表征，運用所述分類模型獲得對該動作的識別結(jié)果。

作為本發(fā)明的進一步改進，所述步驟1具體包括：

步驟11兩個視角的低層特征提取：選取訓(xùn)練視角和測試視角下的訓(xùn)練動作視頻，分別通過二維Gabor濾波的方法選取特征點，并以其為中心提取時空立方體，在每個立方體的中心計算亮度梯度作為立方體描述符，立方體描述符即為低層特征；

步驟12兩個視角的中層特征表示：對得到的兩個視角下的低層特征分別進行Kmeans聚類，得到訓(xùn)練視角下的第一聚類中心和測試視角下的第二聚類中心；根據(jù)兩個視角的聚類中心在每個動作樣本中的分布將兩個視角的動作樣本量化為分類直方圖，然后用各個視角下的分類直方圖分別訓(xùn)練第一LDA模型和第二LDA模型，得到每個樣本的主題分布，即中層特征；

步驟13雙語詞典獲得：將兩個視角下得到的中層特征結(jié)合起來，運用K-SVD(K-奇異值分解)算法，形成一個詞典對，即為雙語詞典。

作為本發(fā)明的進一步改進，所述步驟2具體包括：

步驟21低層特征提取：將訓(xùn)練視角下的個體的全部動作視頻，通過二維Gabor濾波的方法選取特征點，并以其為中心提取時空立方體，在每個立方體的中心計算亮度梯度作為立方體描述符，立方體描述符即為低層特征；

步驟22中層特征表示：計算低層特征到第一聚類中心的距離，從而得到低層特征的分類直方圖，由第一LDA訓(xùn)練模型預(yù)測得到主題分布，作為中層特征；

步驟23將中層特征通過所述雙語詞典變換為稀疏表示，對得到的稀疏表示建立能識別不同動作的分類模型；

作為本發(fā)明的進一步改進，所述步驟3具體包括：