[發明專利]一種基于多流三維自適應圖卷積的人體行為識別方法

有效

• 申請號: 202110799095.8
• 申請日: 2021-07-15
• 公開（公告）號: CN113673560B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 田聯房;余陸斌;杜啟亮;向照夷
• 申請（專利權）人: 華南理工大學;華南理工大學珠海現代產業創新研究院
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V40/20;G06V40/10;G06V10/82;G06N3/0464;G06F17/16
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.一種基于多流三維自適應圖卷積的人體行為識別方法，其特征在于，包括以下步驟：

1)采集包含人體的視頻，標注視頻中人體的骨架信息和行為類別，構建訓練集；

2)利用訓練集構建自適應空間域注意力矩陣SAM和自適應時間域注意力矩陣TAM；

3)利用自適應空間域注意力矩陣SAM構建自適應空間域注意力圖卷積模塊ASAGCM，利用自適應時間域注意力矩陣TAM構建自適應時間域注意力圖卷積模塊ATAGCM；構建三維時空域圖卷積模塊GCN-3d；

自適應空間域注意力圖卷積模塊ASAGCM構建過程為：根據骨架的連接結構得到鄰接矩陣，利用自適應系數平衡鄰接矩陣和自適應空間域注意力矩陣SAM的權重后與輸入特征圖相乘，疊加通道后經過1×1空間域圖卷積得到輸出特征圖；

自適應空間域注意力圖卷積模塊ASAGCM的實現用公式表示如下：

式中，f_in、f_out表示輸入特征圖和輸出特征圖，α為隨著訓練迭代更新的空間自適應系數，A_k是根據人體骨架連接關系得到的鄰接矩陣，A_k的計算規則為：骨架中第n個節點和第m個節點若相連，則A_k中第n行第m列元素為1，否則為0，當n＝m時，第n行第m列為1；是空間域1×1卷積的權重，k是子集序號，K_v是子集總數；

自適應時間域注意力圖卷積模塊ATAGCM的構建過程為：利用自適應系數平衡單位矩陣E和自適應時間域注意力矩陣TAM的權重后與輸入特征圖相乘，經過卷積核大小為K_t×1時間域圖卷積得到輸出特征圖；

自適應時間域注意力圖卷積模塊ATAGCM的實現用公式表示如下：

f_out＝W_tf_in(βE+(1-β)·TAM)

式中，β為隨著訓練迭代更新的空間自適應系數，E為單位矩陣，W_t是時間域K_t×1圖卷積權重，K_t×1為卷積核大小；

三維時空域圖卷積模塊GCN-3d構建過程如下：構建三維鄰接矩陣A_τ，與輸入特征圖相乘，經過卷積核大小為1×1三維時空域圖卷積得到輸出特征圖；

三維時空域圖卷積模塊GCN-3d的實現用公式表示如下：

f_out＝W_τf_inA_τ

式中，A_τ由A按行和列擴展τ次得到，其中，表示實數域，V為人體骨架關鍵點個數，W_τ為時空域圖卷積權重；

4)利用自適應空間域注意力圖卷積模塊ASAGCM、自適應時間域注意力圖卷積模塊ATAGCM和三維時空域圖卷積模塊GCN-3d構建自適應圖卷積層；

5)利用自適應圖卷積層構建自適應圖卷積網絡；

6)利用自適應圖卷積網絡構建多流三維自適應圖卷積網絡；

7)利用訓練集訓練多流三維自適應圖卷積網絡；

8)利用訓練后的多流三維自適應圖卷積網絡對視頻中的人體進行行為識別。