[發明專利]一種基于多特征時空關系融合的人類行為識別方法

有效

• 申請號: 201510298003.2
• 申請日: 2015-06-03
• 公開（公告）號: CN104881655B
• 公開（公告）日: 2018-08-28
• 發明（設計）人: 姚莉
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 蘇州誠逸知識產權代理事務所(特殊普通合伙) 32313
• 代理人: 高娟

本發明公開了一種基于多特征時空關系融合的人類行為識別方法，具體步驟包括：通過光流直方圖和運動邊界直方圖對視頻抽取的密集軌跡特征進行表示，然后用KMEANS算法構建兩種特征對應質心之間的時空二部圖，采用K路二部圖分割技術將時空二部圖分割，采用基于條件概率的表示方法得到兩種特征融合后的視頻級編碼，最后訓練分類器并進行識別，通過上述方式，本發明一種基于多特征時空關系融合的人類行為識別方法，該方法通過計算每個視頻中特征之間的時空距離，從而構建兩種特征對應質心之間的時空二部圖，采用K路二部圖分割技術對時空二部圖進行分割，將具有強時空關系的質心融合，更好的挖掘了不同特征的有效信息，提升了識別準確率。

技術領域

本發明涉及計算機視覺領域，尤其是涉及一種基于多特征時空關系融合的人類行為識別方法。

背景技術

隨著計算機科學的發展，視頻開始成為人們生活的一部分，如何讓計算機“理解”視頻中的人類行為，對基于內容的視頻檢索、智能監控、人機交互和虛擬現實等領域都具有重要作用。

一般而言，一個經典的人類行為識別框架主要包括三個步驟：特征抽取、視頻編碼以及分類器的訓練和識別，此外，對于采用多種特征的情況，還包括一個可選的多特征前期融合或后期融合步驟，其中的視頻編碼是決定識別準確率的關鍵步驟。

目前，被廣泛使用和改進的編碼方法之一是詞袋（BagofWords，簡稱BoW）方法，經典的BoW方法首先對特征進行聚類，接著把視頻表示成特征出現在每一個質心中的頻次直方圖向量，雖然BoW編碼已經在很多文獻中顯示了很好的泛化能力和健壯性，但該方法也有很多缺點：比如費時的特征聚類過程，KMEANS算法的有監督參數k以及質心之間時空關系信息的丟失。

為了消除KMEANS算法的參數k依賴經驗確定的問題，“Liu J, Shah M. Learninghuman actions via information maximization[C]// Computer Vision and PatternRecognition, 2008. CVPR 2008. IEEE Conference on. IEEE, 2008:1-8.”使使用互信息最大化聚類算法無監督的確定最合適的質心數量，該算法首先用一個較大的k進行KMEANS聚類，以減少由于KMEANS聚類造成的信息丟失，之后通過互信息最大化聚類算法在盡可能少的丟失信息的前提下減少質心數量，以此提高后續步驟的計算速度。