[發明專利]基于稠密軌跡協方差描述子的行為識別方法

有效

• 申請號: 201710418123.0
• 申請日: 2017-06-06
• 公開（公告）號: CN107194366B
• 公開（公告）日: 2020-04-14
• 發明（設計）人: 同鳴;閆娜;趙夢傲;汪厚嶧
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/20;G06T7/246
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;朱紅星

本發明公開了一種基于稠密軌跡協方差描述子的行為識別方法，主要解決現有技術沒有考慮不同特征之間的相關性，未能準確描述行為主體運動，導致行為識別準確率低的問題。其實現步驟是：1)提取視頻的稠密軌跡，對軌跡立方體中的每個像素點，獲取梯度、空間位置以及梯度、光流和運動邊界的時間導數并將這些特征作為底層特征；2)獲取底層特征集合，對其求取協方差矩陣并投影到歐式空間以獲取軌跡子塊的描述子；3)串接軌跡子塊的描述子，獲取基于稠密軌跡的協方差矩陣描述子；4)對協方差矩陣描述子進行BOW編碼后利用線性SVM分類模型進行行為識別。本發明提高對行為的描述能力和識別準確率，可用于視頻監控的復雜環境。

技術領域

本發明屬于視頻處理技術領域，特別涉及一種行為識別方法，可用于視頻監控復雜環境中對視頻行為的描述。

背景技術

在行為識別領域，人工局部特征已經成為一種有效的特征表示方式。局部特征不需要特定的算法來檢測人體部位，并且對復雜背景，光照變化和視頻噪聲等影響具有魯棒性。

典型的局部特征包括：時空興趣點STIP、立方體和稠密軌跡，通常與梯度方向直方圖HOG、光流方向直方圖HOF、3D梯度方向直方圖HOG3D、運動邊界直方圖MBH、和擴展的加速魯棒特征ESURF等描述子結合使用。

局部特征的提取主要包含兩個步驟：首先發掘行為視頻中顯著和信息豐富的運動區域，然后在運動區域周圍提取描述子。在上述人工局部特征中，基于稠密軌跡的特征在各種具有挑戰的數據庫中獲得了較好的性能。事實上，上述描述子均為基于單個特征的1維直方圖表示，并沒有考慮到不同特征之間的聯合統計特性。然而，這些統計特性對于行為識別也許是非常重要的。

目前已提出的獲取特征之間相關性的方法有：

(1)Guo K,Ishwar P,Konrad J.Action recognition from video usingfeature covariance matrices[J].IEEE Transactions on Image Processing,2013,22(6):2479-2494，這種方法將協方差矩陣運用到兩種局部特征集合，一種來自運動目標的輪廓序列，另一種來自光流，并應用一個稀疏線性表示的框架來實現行為識別。然而，該方法需要對視頻進行精確分割，這對真實場景中的視頻是非常困難的。

(2)Bilinski P,Bremond F.Video covariance matrix logarithm for humanaction recognition in videos[C]//IJCAI 2015-24th International JointConference on Artificial Intelligence(IJCAI).2015，這種方法在稠密軌跡的基礎上，提出視頻協方差矩陣對數(VCML)描述子，來模擬不同底層靜態特征之間線性關系。該方法雖然考慮到了不同特征之間的關系，但只考慮了靜態特征，并未考慮行為主體的動態特征，無法準確描述行為的運動，導致行為識別結果的準確率低。

發明內容

本發明目的在于針對上述已有技術的不足，提出一種基于稠密軌跡協方差描述子的行為識別方法，以獲取準確描述視頻中行為主體的運動信息，并在此基礎上獲取不同特征之間的聯合統計特性，從而增強對視頻行為的描述能力，進一步提高行為識別的準確率。

實現本發明的技術關鍵是在對底層特征集合求協方差矩陣的過程中不僅以位置信息和梯度作為靜態特征，而且計算了梯度、光流和運動邊界的時間導數作為運動特征，由此構造了基于稠密軌跡的協方差矩陣描述子，具體步驟包括如下：

(1)對視頻序列進行稠密采樣，計算采樣點處的稠密光流f，設光流閾值為T_flow；