[發明專利]一種基于二叉樹的人體行為識別方法

有效

• 申請號: 201811555909.8
• 申請日: 2018-12-19
• 公開（公告）號: CN109508698B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 李仲泓;吳昱焜;衣楊;沈金龍;佘瀅;朱藝
• 申請（專利權）人: 中山大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/778;G06T7/269
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

本發明公開了一種基于二叉樹的人體行為識別方法，應用于計算機視覺領域，旨在于解決現有技術中沒有考慮到軌跡之間的相互關系以及對運動部分的特征提取不夠細致的問題。本發明首先提取輸入視頻的綜合顯著軌跡；然后計算每條軌跡的特征描述符，包括新提出的均衡描述符；再利用譜聚類算法將視頻的軌跡分成粒度不一的節點，構造中層語義二叉樹；由于經費舍爾向量編碼后的特征表示的維度過高，本發明采用子空間隨機投影對編碼向量進行降維；最終利用線性核的SVM(狀態向量機)對特征表示分類，得到視頻行為的類別標簽。本方法在一定程度上移除背景的干擾，并提高了識別準確度。

技術領域

本發明涉及計算機視覺領域，更具體地，涉及一種基于二叉樹的人體行為識別方法。

背景技術

基于特征的人體行為識別方法的方法流程大致包括軌跡采樣、特征提取、特征編碼和行為分類等步驟。在軌跡采樣和特征提取階段，現有的方法中表現良好的是改進密集軌跡方法(iDT,improved Dense Trajectory)，這個方法會密集采樣特征點并對其進行跟蹤，選取顯著的軌跡，再提取出軌跡的特征描述符。該方法能夠根據視頻幀中的RGB特征提取出顯著的軌跡，以及具有表現力的描述符MBH(運動邊界直方圖)、HOG(方向直方圖)、HOF(光流直方圖)。然而，iDT方法在采樣時沒有考慮到光流特征，以及描述符也沒有考慮到軌跡之間的相互關系，因而準確率仍未達到令人滿意的水平。除此之外，在編碼該方法時也是簡單地把所有特征進行編碼，而研究表明人的運動可以分為運動主體和該運動主體的輔助部分，因此在編碼的時候可以將特征分為兩類，做到更加細致地提取特征的中層語義。

發明內容

本發明為克服上述現有技術采樣時沒有考慮到光流特征，描述符沒有考慮到軌跡之間的相互關系以及對運動部分的特征提取不夠細致的缺陷，提供一種基于二叉樹的人體行為識別方法。

為解決上述技術問題，本發明的技術方案如下：一種基于二叉樹的人體行為識別方法，包括與以下步驟：

S1：輸入視頻，對視頻幀中的特征點進行采樣，對采樣后的特征點進行跟蹤，生成軌跡，再對軌跡進行篩選；

S2：計算篩選后軌跡的顯著值，提取出綜合顯著軌跡；

S3：根據求得的綜合顯著軌跡計算軌跡的特征描述符，用來量化軌跡特征；

S4：根據軌跡特征將軌跡進行分類，并利用譜聚類方法將視頻的軌跡分類到若干集合中，即分類到二叉樹節點中，構造中層語義二叉樹；

S5：對若干集合內的軌跡進行編碼得到編碼向量，采用子空間隨機投影對編碼向量進行降維，并將若干集合的降維后的編碼向量進行融合，用來表示一個視頻；

S6：利用線性核的SVM對視頻進行分類，得到視頻行為的類別標簽并輸出結果。

優選地，S1的具體步驟為：

S11：利用3×3的Sobel算子計算視頻幀中每一個像素點的梯度，得到該視頻幀兩個方向上的梯度矩陣Dx和Dy；

S12：選取像素點p的3×3鄰域S(p)內的梯度自相關矩陣的最小特征值作為該像素點的特征值；

S13：選擇特征值大于特征點閾值的像素點作為特征點，閾值大小為所有像素點的特征值中最小的值的倍數；

S14：按照設定的步長將視頻幀劃分為網格，并對其中存在的特征點進行采樣，選取特征值大于預設的起點特征點閾值的特征點作為軌跡的起點；

S15：以縮放因子對原始視頻幀進行八個尺度的縮小，生成八層金字塔；

S16：采用光流場進行特征點跟蹤，生成軌跡：