[發明專利]一種時空行為檢測方法

有效

• 申請號: 201910153037.0
• 申請日: 2019-02-28
• 公開（公告）號: CN109961019B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 桑農;張士偉;李致遠;高常鑫;邵遠杰
• 申請（專利權）人: 華中科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 曹葆青;李智

1.一種時空行為檢測方法，其特征在于，包括：

(1)對樣本視頻中所有幀進行對象檢測，獲取候選對象集合；

(2)計算樣本視頻中所有幀間光流信息，獲取運動集合；

(3)基于候選對象集合和運動集合，構建附加對象注意機制和運動注意機制的時空卷積-反卷積網絡；

(4)利用時空卷積-反卷積網絡對樣本視頻的各時間片段進行時空卷積-反卷積處理，得到各時間片段對應的處理結果，并為各處理結果添加對應的稀疏變量和稀疏約束得到網絡結構S；

(5)以基于交叉熵的分類損失和稀疏約束的損失為目標函數，對網絡結構S進行訓練；

(6)以網絡結構S為基礎，計算測試樣本視頻中各時間片段對應的行為類別、稀疏系數以及分布概率圖，獲取對象行為時空位置。

2.如權利要求1所述的時空行為檢測方法，其特征在于，所述步驟(1)具體包括：

(1.1)將樣本視頻中包含的圖像縮放到同一尺寸下；

(1.2)利用目標檢測器和FPN分別對歸一化后的圖像進行對象檢測，獲取兩種對象檢測框結果；

(1.3)對兩種對象檢測框的并集進行非極大抑制，獲取篩選的對象位置；

(1.4)利用快速跟蹤方法和濾波器對未被篩選的對象檢測框進行跟蹤，找回未檢出的對象位置。

3.如權利要求1或2所述的時空行為檢測方法，其特征在于，所述步驟(2)具體包括：

(2.1)對光流信息包含的光流水平和豎直方向上的值進行歸一化；

(2.2)在光流圖水平和豎直方向上利用勾股定理，獲取單通道的灰度圖；

(2.3)根據灰度圖獲取運動信息區間。

4.如權利要求3所述的時空行為檢測方法，其特征在于，所述時空卷積-反卷積網絡包括時空卷積網絡和反卷積網絡，所述步驟(3)具體包括：

(3.1)全局平均池化時空卷積網絡中下采樣層的最后一層，獲取卷積層的向量化表達；

(3.2)將卷積層的向量化表達與下采樣層的最后一層相加獲取反卷積網絡上采樣層的第一層；

(3.3)在反卷積網絡的每一層特征圖上疊加對應下采樣層的特征圖，完成時空卷積和反卷積網絡的構建；

(3.4)對反卷積網絡上采樣層的最后一層特征圖采用全局平均池化做向量化表達；

(3.5)在上述時空卷積和反卷積網絡中選取任一層的特征圖中加入對象顯著性監督；

(3.6)在上述時空卷積和反卷積網絡中選取任一層的特征圖中加入運動顯著性監督，完成時空卷積-反卷積網絡的構建；

(3.7)在卷積層的向量化表達和反卷積層的向量化表達后均連接全連接層，所述全連接層用于對行為類別進行預測。

5.如權利要求4所述的時空行為檢測方法，其特征在于，所述步驟(4)具體包括：

(4.1)樣本視頻分成的T個時間片段通過時空卷積后，將時空卷積網絡連接的全連接層的特征x_i拼接，其中i＝1,...,T；

(4.2)采用全局平均池化方法計算T維的權值向量w＝[w₁,w₂,...,w_T]；

(4.3)在上述時空卷積-反卷積網絡中增加根據權值向量獲取的稀疏約束，完成網絡結構S的構建。

6.如權利要求5所述的時空行為檢測方法，其特征在于，所述步驟(6)具體包括：

(6.1)對熱力圖上采樣獲取的檢測框進行非極大抑制，獲取對象候選框；

(6.2)通過計算樣本視頻中各時間片段對應的權值向量，篩選行為的時間區間；

(6.3)將對象候選框對應的空間位置和時間區間結合，獲取對象行為時空位置。