[發明專利]一種基于多流三維自適應圖卷積的人體行為識別方法

有效

• 申請號: 202110799095.8
• 申請日: 2021-07-15
• 公開（公告）號: CN113673560B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 田聯房;余陸斌;杜啟亮;向照夷
• 申請（專利權）人: 華南理工大學;華南理工大學珠海現代產業創新研究院
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V40/20;G06V40/10;G06V10/82;G06N3/0464;G06F17/16
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種基于多流三維自適應圖卷積的人體行為識別方法，包括：1)采集包含人體的視頻，構建訓練集；2)利用訓練集構建自適應空間域注意力矩陣SAM和自適應時間域注意力矩陣TAM；3)構建自適應空間域注意力圖卷積模塊ASAGCM、自適應時間域注意力圖卷積模塊ATAGCM、三維時空域圖卷積模塊GCN?3d；4)構建自適應圖卷積層；5)利用自適應圖卷積層構建自適應圖卷積網絡；6)利用自適應圖卷積網絡構建多流三維自適應圖卷積網絡；7)利用訓練集訓練多流三維自適應圖卷積網絡；8)利用訓練后的多流三維自適應圖卷積網絡對視頻中的人體進行行為識別。通過本發明可有效提升人體行為種類識別的準確度，為各種計算機視覺處理應用打下了良好的基礎。

技術領域

本發明涉及圖像模式識別和深度神經網絡的技術領域，尤其是指一種基于多流三維自適應圖卷積的人體行為識別方法。

背景技術

目前，視頻中的人體行為識別是目前計算機視覺領域中最活躍的研究主題之一，它在智能視頻監控、人機交互、基于內容的視頻檢索、虛擬現實等方面具有廣泛的應用前景和潛在經濟價值。

傳統的行為識別算法多用RGB視頻作為輸入，但當RGB視頻中背景動態干擾較多，光照不穩定，噪聲嚴重時，傳統行為識別算法的效果會受到影響。近年來，與傳統的使用RGB視頻進行識別的方法相比，基于骨架的行為識別因其對動態環境和復雜背景的適應性強而越來越受到關注。

提取視頻中人體骨架關節為頂點，其在人體中的自然連接為邊作為行為識別算法輸入能大大降低視頻中的環境干擾對算法識別率的影響。現有的基于骨架的行為識別算法輸入的骨架連接是根據人體自然連接定義的，沒有充分利用骨架關節之間的信息，也沒有充分利用關節的前后幀信息，同時對于時間域和空間域信息的利用較為獨立，沒有充分將關節之間的時空信息有效結合，因此急需提出一種自適應調節骨架連接并且充分融合空間時間信息的自適應圖卷積識別方法。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提出了一種基于多流三維自適應圖卷積的人體行為識別方法，該方法通過搜集大量視頻中人體行為的骨架數據，并基于自適應圖卷積網絡技術，充分結合了原本孤立的骨架時空域相關性信息，實現了有效識別視頻中人體行為的目的。

為實現上述目的，本發明所提供的技術方案為：一種基于多流三維自適應圖卷積的人體行為識別方法，包括以下步驟：

1)采集包含人體的視頻，標注視頻中人體的骨架信息和行為類別，構建訓練集；

2)利用訓練集構建自適應空間域注意力矩陣SAM和自適應時間域注意力矩陣TAM；

3)利用自適應空間域注意力矩陣SAM構建自適應空間域注意力圖卷積模塊ASAGCM，利用自適應時間域注意力矩陣TAM構建自適應時間域注意力圖卷積模塊ATAGCM；構建三維時空域圖卷積模塊GCN-3d；

4)利用自適應空間域注意力圖卷積模塊ASAGCM、自適應時間域注意力圖卷積模塊ATAGCM和三維時空域圖卷積模塊GCN-3d構建自適應圖卷積層；

5)利用自適應圖卷積層構建自適應圖卷積網絡；

6)利用自適應圖卷積網絡構建多流三維自適應圖卷積網絡；

7)利用訓練集訓練多流三維自適應圖卷積網絡；

8)利用訓練后的多流三維自適應圖卷積網絡對視頻中的人體進行行為識別。

進一步，在步驟1)中，利用攝像頭拍攝包含不同人體行為的視頻，其視角要求為從人體正面拍攝，并將人體放在畫面正中區域；

利用OpenPose算法檢測視頻中的人體骨架關鍵點，利用分區策略構建訓練集，包括以下步驟：

1.1)提取人體骨架關鍵點