[發明專利]基于動態時序多維自適應圖卷積網絡的骨架行為識別方法

在審

• 申請號: 202211290028.4
• 申請日: 2022-10-21
• 公開（公告）號: CN115661861A
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 曹毅;夏宇;高清源;湯多良;周輝;馬惠欣
• 申請（專利權）人: 江南大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V40/20;G06V10/80;G06V10/82;G06N3/0464;G06N3/047;G06N3/048;G06N3/08
• 代理公司: 無錫盛陽專利商標事務所(普通合伙) 32227
• 代理人: 黃瑩;顧吉云

本申請提供一種基于動態時序多維自適應圖卷積網絡的骨架行為識別方法，通過非局部網絡和維度變換模塊，構建多維自適應圖卷積模塊，同時將動態卷積和時序卷積相結合，在時序卷積中引入SE注意力網絡計算各卷積核權重和偏置的權值，構造動態時序卷積模塊，將二者相結合并在多流網絡下進行端到端的訓練，構造動態時序多維自適應圖卷積網絡模型；本申中的動態時序多維自適應圖卷積網絡模型能夠自骨架時空圖中充分提取空間域內的多維信息，同時增強了時間特征的表示能力，基于本申請的骨架行為識別方法，不但能夠取得優異的識別準確率，而且具備良好的泛化性能。

技術領域

本發明涉及計算機視覺技術領域，具體為基于動態時序多維自適應圖卷積網絡的骨架行為識別方法。

背景技術

行為識別作為計算機視覺領域研究的熱點，在當今社會的智能安防、智能監控、智慧醫療等領域有著廣泛的應用，隨著深度學習技術在計算機視覺領域的發展與應用，其在行為識別研究上也取得更加顯著的效果。骨架信息是人體的高級特征，與RGB數據和深度數據相比，它具有受外觀影響小，能夠有效避免背景遮擋、光照變化以及視角變化產生的噪聲影響，方便存儲與計算的優點。因此，基于骨架的行為識別方法成為當下的熱門研究領域之一。由于人體骨架關節本身是一種拓撲圖，而圖卷積神經網絡在處理這種拓撲圖方面具有優越的性能，有學者將圖卷積與骨架行為識別相結合，提出了基于圖卷積的骨架行為識別技術。然而，現有的用于骨架行為識別的圖卷積網絡在針對空間特征進行建模時，雖然考慮了時間特征，但是對于時間特征進行建模時表示能力較弱，導致識別準確率較低和泛化性能較差。

發明內容

為了解決現有的骨架行為識別方法識別準確率較低和泛化性能較差的問題，本發明提供一種基于動態時序多維自適應圖卷積網絡的骨架行為識別方法，其可以在骨架時空圖中充分提取多維、動態、有效的時空特征信息，不但有較高的識別準確率，同時具備有良好的泛化性能。

本發明的技術方案是這樣的：基于動態時序多維自適應圖卷積網絡的骨架行為識別方法，其包括以下步驟：

S1：獲取原始視頻樣本，對所述原始視頻樣本進行預處理，并獲取所述原始視頻樣本中骨架信息數據；

S2：將原始視頻樣本的骨架信息數據建模成骨架時空圖；

S3：基于獲取的骨架信息數據，進行數據處理后，提取骨架行為特征數據，基于所述骨架行為特征數據獲得多支流的訓練數據，記作：多支流訓練用特征數據；

其特征在于，其還包括以下步驟：

S4：基于自適應圖卷積方法和動態卷積，構建動態時序多維自適應圖卷積網絡模型，作為骨架行為識別模型；所述骨架行為識別模型包括：骨架行為識別支流模型；

S5：設置并調整所述骨架行為識別模型的超參數，使用所述多支流訓練用特征數據，對所述骨架行為識別模型中的每一個所述骨架行為識別支流模型進行訓練，獲得訓練好的所述骨架行為識別支流模型；

S6：獲取待識別視頻數據，提取待識別視頻數據組中的骨架信息數據，基于骨架信息數據提取待識別骨架時空圖，將所述待識別骨架時空圖并分別輸入到每一個訓練好的所述人體骨架行為識別支流模型中，將各支流模型的輸出進行融合，得到最終的骨架行為識別結果；

步驟S4中，構建動態時序多維自適應圖卷積網絡模型，包括以下步驟：

S4-1：將所述骨架時空圖中每一個節點的鄰域進行子集劃分，得到所述骨架時空圖對應的骨架節點子集；所述骨架節點子集包括：節點自身子集、向心鄰居節點子集、離心鄰居節點子集；

所述節點自身子集中包括節點自身；

所述向心鄰居節點子集中包括：靠近骨架重心的向心鄰居節點；

所述離心鄰居節點子集中包括：遠離骨架重心的離心鄰居節點；