[發明專利]基于DAMR_3DNet的動作識別方法

在審

• 申請號: 202111113825.0
• 申請日: 2021-09-23
• 公開（公告）號: CN113850182A
• 公開（公告）日: 2021-12-28
• 發明（設計）人: 田秋紅;張元奎;孫文軒;章立早
• 申請（專利權）人: 浙江理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種基于DAMR_3DNet的動作識別方法，其特征在于，包括下列步驟：

步驟1)讀取動作數據集中各類別的動作視頻，并獲取各個動作視頻的類別標簽，對每個動作視頻進行預處理得到視頻幀序列，將視頻幀序列作為訓練數據集，訓練數據集包括訓練集和測試集；

步驟2)構建DAMR_3Dnet模型：DAMR_3Dnet模型包括依次連接的D-3Dnet模塊、注意力機制模塊和3D Residual模塊；

2.1)將視頻幀序列輸入D-3Dnet模塊中提取動作視頻的低層時空特征信息；

2.2)D-3DNet提取的低層時空特征信息輸入注意力機制模塊中提取具有通道間信息以及空間信息的注意力特征圖；

2.3)將步驟2.2)提取的注意力特征圖作為3D Residual Module的輸入進一步提取高層時空特征；

2.4)3D Residual Module提取的高層時空特征經Flatten操作將多維特征進行一維化，最后通過SoftMax分類器進行動作分類，得到分類的結果；

步驟3)訓練數據集輸入步驟2)構建的DAMR_3Dnet模型進行訓練；

步驟4)待分類的動作視頻輸入DAMR_3Dnet模型中進行動作分類識別，得到分類結果。

2.根據權利要求1所述的一種基于DAMR_3DNet的動作識別方法，其特征在于：所述步驟1)中的預處理具體為：

1.1)通過openCv中的cv2.CAP_PROP_FRAME_COUNT方法依次獲取每個動作視頻的所有幀數；

1.2)采用稀疏采樣的方法依次對每個類別的每個動作視頻提取指定幀數的視頻幀序列；

1.3)對提取的視頻幀序列中的每個視頻幀進行尺寸歸一化處理。

3.根據權利要求1所述的一種基于DAMR_3DNet的動作識別方法，其特征在于：所述步驟2.1)具體為：

2.1.1)D-3Dnet模塊的輸入為視頻幀序列，視頻幀序列經第一卷積層后得到提取后的特征圖；

2.1.2)將步驟2.1.1)卷積后提取的特征圖輸入第一最大池化層，對經過第一池化層的特征圖采用解耦合卷積操作后分別得到空間特征和時間特征，通過Add操作融合空間特征和時間特征；

2.1.3)將步驟2.1.2)融合后的特征圖輸入第二最大池化層，對經過第二池化層的特征圖采用解耦合卷積操作后分別得到空間特征和時間特征，通過Add操作融合空間特征和時間特征；

2.1.4)將步驟2.1.3)融合后的特征圖輸入第三最大池化層，對經過第三池化層的特征圖采用解耦合卷積操作后分別得到空間特征和時間特征，通過Add操作融合空間特征和時間特征；

2.1.5)將步驟2.1.4)融合后的特征圖輸入第四最大池化層，對經過第四池化層后的特征圖使用3×3×3的卷積核進行卷積操作；

2.1.6)將步驟2.1.5)卷積得到的特征圖輸入第五最大池化層，得到降采樣后的特征圖為D-3DNet模塊的輸出特征。

4.根據權利要求3所述的一種基于DAMR_3DNet的動作識別方法，其特征在于：所述解耦合卷積操作為將特征圖分別經過3×3×1的空間維度卷積和1×1×3的時間維度卷積后得到空間特征和時間特征。