[發明專利]一種基于顯著軌跡空間信息的視頻人體行為識別方法

有效

• 申請號: 201611016302.3
• 申請日: 2016-11-18
• 公開（公告）號: CN106709419B
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 衣楊;胡攀;鄧小康;張念旭;謝韜;鄭鎮賢
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種基于顯著軌跡空間信息的視頻人體行為識別方法，其特性在于，包括以下步驟：

S1：提取視頻幀，構建圖像金字塔，然后對視頻進行超像素分割，在圖像金字塔上計算光流，然后利用幀的顏色，空間分布，以及光流的對比性來計算動態和靜態顯著性，將它們融合為總的顯著性；

S2：將軌跡顯著性定義為軌跡每點在組合顯著性圖像中顯著性的均值；然后計算自適應閾值，當軌跡顯著性小于閾值時，則認為是背景軌跡或者非運動區域的軌跡而予以刪除，從而有效提取顯著軌跡；

S3：首先對視頻的所有顯著軌跡進行隨機采樣，然后對采樣得到軌跡利用其空間信息進行AP聚類，得到不定數量的聚類中心，接著用k-means將聚類中心調整為固定的數目C，最后將視頻所有的軌跡分類到距離最近的聚類中心去，從而得到了視頻的軌跡分類；

S4：對一個視頻C個類的軌跡進行編碼，得到了C個向量，向量就是視頻的表示；

所述步驟S1的過程如下：

S11：對視頻幀進行金字塔構建和超像素分割，對于圖像金字塔的某一層而言，得到K個超像素；

S12：計算超像素基于顏色對比的顯著性：

其中，K是超像素的數量，c_i和c_j表示兩個超像素的顏色值，p_i和p_j是超像素中心位置的坐標，w_ij^(p)是對顏色對比值進行校正的系數，σ_p用來控制顏色對比顯著性的范圍，設置為0.25；

S13：計算超像素基于空間分布對比的顯著性：

其中，Z_i表示金字塔中某層的相鄰像素的總量，其中w_ij^(c)是對空間位置對比值的校正系數，σ_c用來控制空間對比顯著性的范圍，取20，是顏色c_i的平均權重位置；

S14：基于顏色對比和基于空間分布對比的顯著性融合得到超像素的靜態顯著性：參數S_i表示表示第i個點的靜態顯著性，其中和是基于顏色對比顯著性U_i和基于空間分布對比顯著性D_i歸一化到了[0,1]后的值，k表示控制參數，用來控制顏色對比和空間的對比的相對強度，取值為1；

S15：靜態顯著性能夠有效地剔除視頻中幀的背景區域，利用插值得到靜態的顯著性：

其中w_ij是高斯權重，S_j表示第j個像素的靜態顯著性，x_fi表示幀f上的第i個像素，d_i和d_j是像素i和j的顏色值，q_i和q_j是像素i和j的位置，β和α均設置為30；

S16：在未做超像素分割的金字塔圖像上計算光流，然后利用某一像素點的所在的視頻幀f_i的平均光流值與該點光流值的對比，即卡方距離，得到動態顯著性：

C_d(x_fi)＝χ²(h(x_fi),h(A(x_fi)))，

其中，h(x_fi)是像素點x_fi處光流直方圖的所有bin組成的向量，h(A(x_fi))是全部h(x_fi)的bin的平均值組成的向量；

S17：結合動靜態顯著性，得到某一個像素點的顯著性：

其中,和是經過歸一化后像素的顯著性，a和b用來控制兩種顯著性的權重，均設置為1。