[發明專利]一種基于顯著軌跡空間信息的視頻人體行為識別方法

有效

• 申請號: 201611016302.3
• 申請日: 2016-11-18
• 公開（公告）號: CN106709419B
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 衣楊;胡攀;鄧小康;張念旭;謝韜;鄭鎮賢
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

本發明提供一種基于顯著軌跡空間信息的視頻人體行為識別方法，該方法重新定義了視頻中軌跡的顯著性，有效地剔除視頻中背景和人體非運動部位的軌跡，留下了前景中運動顯著性高的軌跡，這些軌跡誤差更小，表達能力也更強；另外該方法將不同人體部位的運動部件以及交互物體區分開來，并通過多核學習來利用他們之間的空間和語義關系，提高了算法的識別效果。

技術領域

本發明涉及計算機視覺領域，更具體地，涉及一種基于顯著軌跡空間信息的視頻人體行為識別方法。

背景技術

隨著社會的進步，日常生活中產生的視頻信息呈現了爆炸式增長。人們迫切地需要對這些視頻內容進行分析，以獲取有價值的信息?；谝曈X的人體行為識別是視頻分析領域的一個重點也是難點，被廣泛地應用于智能監控、視頻檢索以及動畫合成等方面。近年來，許多學者對此進行了深入的研究，研究數據集已經從單一監控場景下拍攝的錄制視頻轉移到復雜自然場景下拍攝的生活類視頻。由于視頻中往往具有陰影和復雜的運動背景，以及會受到攝像頭抖動等因素的影響，人體行為識別還具有較大的挑戰性。

目前對于視頻中的人體行為識別主要采用基于視覺詞袋的框架(Bag of VisualWords)，該框架主要包括以下幾個步驟：(1)特征提取，從視頻中提取富有表達能力的底層特征，目前最常用的特征是時空興趣點；(2)特征轉化，利用視頻中的人體姿勢，與人交互的物體等中高層視覺線索，將特征提取過程中提取到的底層特征轉化為中層或者高層的特征；(3)詞典產生，利用產生的詞典可以更好的描述局部特征空間；(4)特征編碼，利用詞典將前面提取到的特征編碼成整個視頻的表示。最后將視頻的表示向量用分類器(如SVM)進行學習分類。

目前，局部特征，如時空興趣點或者密集軌跡，具有豐富的時空信息，取得了較好的識別效果。這些局部特征通常在整個視頻中通過密集采樣得到，并且所有得到的軌跡在后續的過程中被視為同等重要。然而，密集軌跡忽略了視頻中人體運動區域的檢測，在復雜的場景中很容易提取到多余且不準確的軌跡。另外，對于提取到的底層特征，如何有效地利用一直是人體行為識別的難點和熱點。因此，要想提高人體行為識別的準確率，就要從研究方法的兩大方面出發，即從視頻中提取出具有強表現力的特征以及設計出有效的利用這些特征的行為分類算法。

發明內容

本發明提供一種提高識別效果的基于顯著軌跡空間信息的視頻人體行為識別方法。

為了達到上述技術效果，本發明的技術方案如下：

一種基于顯著軌跡空間信息的視頻人體行為識別方法，包括以下步驟：

S1：提取視頻幀，構建圖像金字塔，然后對視頻進行超像素分割，在圖像金字塔上計算光流，然后利用幀的顏色，空間分布，以及光流的對比性來計算動態和靜態顯著性，將他們融合為總的顯著性；

S2：將軌跡顯著性定義為軌跡每點在組合顯著性圖像中顯著性的均值；然后計算自適應閾值，當軌跡顯著性小于閾值時，則認為是背景軌跡或者非運動區域的軌跡而予以刪除，從而有效提取顯著軌跡；

S3：首先對視頻的所有顯著軌跡進行隨機采樣，然后對采樣得到軌跡利用其空間信息進行AP聚類，得到不定數量的聚類中心，接著用k-means將聚類中心調整為固定的數目C，最后將視頻所有的軌跡分類到距離最近的聚類中心去，從而得到了視頻的軌跡分類；

S4：對一個視頻C個類的軌跡進行編碼，得到了C個向量，該向量就是視頻的表示。

進一步地，所述步驟S1的過程如下：

S11：對視頻幀進行金字塔構建和超像素分割，對于圖像金字塔的某一層而言，得到K個超像素；

S12：計算超像素基于顏色對比的顯著性：