[發明專利]基于兩階段運動建模和注意力的動作視頻分類方法和系統

有效

• 申請號: 202210980577.8
• 申請日: 2022-08-16
• 公開（公告）號: CN115063731B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 盧修生;趙思成;程樂超;蘇慧;宋明黎
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京志霖恒遠知識產權代理有限公司 11435
• 代理人: 戴莉

1.一種基于兩階段運動建模和注意力的動作視頻分類方法，其特征在于，包括以下步驟：

步驟S1：對輸入的原始視頻進行均勻分段，每個視頻段隨機采樣連續多幀，得到采樣幀，并將所有所述采樣幀輸入至主干網絡；

步驟S2：在所述主干網絡的任意層第s層將所述主干網絡進行分段，在所述主干網絡的前s層進行第一階段段內運動信息建模，前s層每層有多個串聯組合，所述串聯組合由2D卷積和1D按深度卷積構成，在每層利用每個串聯組合的2D卷積和1D按深度卷積分別進行空域建模和時域建模，所述采樣幀經過第一階段后輸出包含短時運動信息的視頻卷積特征；

步驟S3：在所述主干網絡的第s層之后網絡層進行第二階段段間運動信息建模，后s層每層有多個串聯組合，所述串聯組合由2D卷積、1D按深度卷積和空間塊注意力模塊構成，在每層利用每個串聯組合的2D卷積、1D按深度卷積和空間塊注意力模塊分別進行空域建模、時域建模和空間塊注意力操作，所述包含短時運動信息的視頻卷積特征經過第二階段后輸出融合了短時運動信息和長時運動信息的空間塊注意力視頻卷積特征；

步驟S4：各視頻段的所述融合了短時運動信息和長時運動信息的空間塊注意力視頻卷積特征經過所述主干網絡的全連接層后得到各視頻段的分類結果，并將所述分類結果進行平均融合得到原始視頻的分類結果，采用交叉熵損失函數對所述主干網絡進行訓練。

2.如權利要求1所述的一種基于兩階段運動建模和注意力的動作視頻分類方法，其特征在于，所述步驟S2具體包括以下子步驟：

步驟S21：在所述主干網絡的任意層第s層將所述主干網絡進行分段，在所述主干網絡的前s層進行第一階段段內運動信息建模；

步驟S22：依次利用2D卷積提取空域表觀信息，利用1D按深度卷積提取各視頻段內相鄰所述采樣幀間的短時運動信息，輸出包含短時運動信息的視頻卷積特征；

步驟S23：通過卷積核大小、填充大小、步長的參數設置，將所述包含短時運動信息的視頻卷積特征在時間尺度降為一。

3.如權利要求1所述的一種基于兩階段運動建模和注意力的動作視頻分類方法，其特征在于，所述步驟S3具體包括以下子步驟：

步驟S31：在所述主干網絡的第s層之后網絡層進行第二階段段間運動信息建模；

步驟S32：以所述包含短時運動信息的視頻卷積特征作為輸入，依次利用2D卷積提取空域表觀信息，利用1D按深度卷積提取各視頻段之間的長時運動信息，得到融合了短時運動信息和長時運動信息的視頻卷積特征；

步驟S33：利用空間塊注意力模塊實現空間上長距離地信息交互，輸出融合了短時運動信息和長時運動信息的空間塊注意力視頻卷積特征。

4.如權利要求3所述的一種基于兩階段運動建模和注意力的動作視頻分類方法，其特征在于，所述步驟S33具體包括以下子步驟：

步驟S331：利用空間塊注意力模塊將所述融合了短時運動信息和長時運動信息的視頻卷積特征經過空間分塊，得到多個空間塊；

步驟S332：計算每個空間塊與所有空間塊之間的相關性矩陣，利用所述相關性矩陣作為權重矩陣對所述融合了短時運動信息和長時運動信息的視頻卷積特征進行加權，得到加權后特征；

步驟S333：將加權后特征與所述融合了短時運動信息和長時運動信息的視頻卷積特征進行融合操作，得到融合了短時運動信息和長時運動信息的空間塊注意力視頻卷積特征。

5.如權利要求1所述的一種基于兩階段運動建模和注意力的動作視頻分類方法，其特征在于，所述主干網絡基于ResNet50模型進行擴展。