[發明專利]基于時間和運動增強的視頻動作識別方法

在審

• 申請號: 202211091323.7
• 申請日: 2022-09-07
• 公開（公告）號: CN115565100A
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 趙彬;丁數學;譚本英;李玉潔;覃陽;李國志
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/62;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于時間和運動增強的視頻動作識別方法，其特征在于，使用多路徑時間增強模塊聚合由各種激發模塊激發的多路徑時間信息，接著使用長短程運動增強模塊來編碼相鄰和非相鄰幀之間的運動特征，這兩個模塊依次連接在一起可以形成一個通用的模塊，即時間和運動增強模塊，該模塊可以插入任意一個二維卷積神經網絡中進行動作識別，具體包括以下步驟：

1)設計一個多路徑時間增強模塊，聚合由各種激發模塊激發的多路徑時間信息；

2)設計一個長短程運動增強模塊，編碼相鄰和非相鄰視頻幀之間的運動特征；

3)將多路徑時間增強模塊和長短程運動增強模塊依次連接在一起，形成時間和運動增強模塊，并將其嵌入到一個二維卷積神經網絡中；

4)在動作識別的數據集上進行參數學習，將輸入的視頻片段進行稀疏采樣并獲得8幀圖像，然后對它們進行預處理后導入步驟3的網絡進行訓練；

5)在動作識別的數據集上對步驟4得到的算法進行評估，并輸出對應的測試結果。

2.如權利要求1所述的基于時間和運動增強的視頻動作識別方法，其特征在于，該模塊包含四個路徑，其中殘差路徑用于對輸入特征進行有效傳遞，時間聚合路徑使用卷積操作在時間維度上捕獲時間特征，通道時間激勵路徑融合通道響應和時間激勵，以實現在通道和時間維度上進行聯合選擇，空間注意力時間激勵路徑將位置關系嵌入到空間信息中。

3.如權利要求1所述的基于時間和運動增強的視頻動作識別方法，其特征在于，給定輸入X∈R^{N×C/4×T×H×W}，經過二維卷積將通道縮放到原來的此時輸出為運動行為可以表示為：

F_i＝K_i*X^*[:,:,t+i,:,:]-X^*[:,:,t,:,:]

其中K_i是核大小為3×3的二維卷積，F_i是間隔為i的幀之間的運動特征。將F_i沿時間維度拼接獲得

F_i^*，將F_i^*融合相加可得：

其中接著F^*經過空間均值池化和二維卷積處理送入激活函數中。

4.如權利要求1所述的基于時間和運動增強的視頻動作識別方法，其特征在于，將多路徑時間增強模塊和長短程運動增強模塊依次連接在一起組成時間和運動增強模塊，然后將該模塊嵌入到殘差網絡ResNet-34的每個殘差單元中形成時間和運動增強網絡。