[發明專利]基于MARS深度特征提取與增強的人體動作識別方法

有效

• 申請號: 202010166751.6
• 申請日: 2020-03-11
• 公開（公告）號: CN111401207B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 柯逍;柯力
• 申請（專利權）人: 福州大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/30;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 丘鴻超;蔡學俊

1.一種基于MARS深度特征提取與增強的人體動作識別方法，其特征在于，包括以下步驟：

步驟S1：從空間和時間兩個維度構建基于深層神經網絡的三維殘差變換模型；

步驟S2：采用基于特征的損失和標準的交叉熵損失的線性組合來訓練所述三維殘差變換模型；

步驟S3：采用基于峰值信噪比的去噪融合算法消除人體動作識別視頻數據中的噪聲；

步驟S4：采用笛卡爾坐標系的圖像旋轉方法模擬攝像頭的移動和旋轉，以模擬在實際真實場景中的人體動作識別場景；

步驟S5：通過基于自學習的馬賽克遮擋算法處理人體動作識別真實場景中的遮擋；

步驟S6：使用目標伸縮變換方法提升真實場景中人體目標尺寸的多樣性，以使模型不斷學習新的數據集，得到經過訓練及優化后的三維殘差變換模型；

步驟S7：利用訓練及優化后的三維殘差變換模型對待識別的視頻數據進行人體動作識別；

所述步驟S1具體包括以下步驟：

步驟S11：從RGB動作流和光流兩個維度提升深度特征，構成空間和時間維度特征信息集特征，并遵循VGG/ResNets采用高度模塊化構建基于深層神經網絡的三維殘差變換模型；該網絡由一堆剩余塊組成，該些剩余塊具有相同的拓撲結構，且遵循兩個規則：第一，如果生成相同大小的空間圖，則該些塊共享相同的超參數；第二，每次將空間網絡下采樣2倍時，塊的寬度乘以2倍；

步驟S12：基于所述兩個規則，構建一個模塊，即相應地確定網絡中的所有模塊，完成空間和時間維度的模型構建；

所述步驟S2具體包括以下步驟：

步驟S21：第一個由RGB流輸入產生的模擬流特征的訓練策略即為動作模擬RGB流，即MERS；采用一種緊靠MERS的最終完全連接層輸出的損失來模擬之前流的輸出；MERS的結構和輸入與具有三維卷積的標準RGB流相似，但其目標是降低這些特征之間的均方的誤差損失L_MERS：

L_MERS＝||fc_MERS-fc_Flow||²

其中，fc_MERS表示MERS的特征，fc_Flow表示光流的特征；在網絡的倒數第二層應用這個損失函數以使最后一層的MERS沒有訓練；

步驟S22：利用具有交叉熵損失的光流分塊對流進行訓練以完成對動作進行分類，并凍結其權重；為了使用RGB幀模擬流特征，首先將均方的誤差損失反向傳播到除最后一層外的所有MERS層，然后分別訓練最后一層具有交叉熵損失的MERS；

步驟S23：為了利用網絡的外觀信息增強這種訓練，通過在整個網絡中反向傳播MSE和交叉熵損失的線性組合來訓練網絡，即使用以下損失函數L_MARS訓練增強動作RGB流，即MARS：

其中，表示交叉熵的值，S_MARS表示類的預測分數，是正確的分類標簽，α是調節運動特征影響的標量權重，fc_MARS表示MARS的特征，fc_Flow表示光流的特征。