[發明專利]基于動態時序多維自適應圖卷積網絡的骨架行為識別方法

在審

• 申請號: 202211290028.4
• 申請日: 2022-10-21
• 公開（公告）號: CN115661861A
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 曹毅;夏宇;高清源;湯多良;周輝;馬惠欣
• 申請（專利權）人: 江南大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V40/20;G06V10/80;G06V10/82;G06N3/0464;G06N3/047;G06N3/048;G06N3/08
• 代理公司: 無錫盛陽專利商標事務所(普通合伙) 32227
• 代理人: 黃瑩;顧吉云

1.基于動態時序多維自適應圖卷積網絡的骨架行為識別方法，其包括以下步驟：

S1：獲取原始視頻樣本，對所述原始視頻樣本進行預處理，并獲取所述原始視頻樣本中骨架信息數據；

S2：將原始視頻樣本的骨架信息數據建模成骨架時空圖；

S3：基于獲取的骨架信息數據，進行數據處理后，提取骨架行為特征數據，基于所述骨架行為特征數據獲得多支流的訓練數據，記作：多支流訓練用特征數據；

其特征在于，其還包括以下步驟：

S4：基于自適應圖卷積方法和動態卷積，構建動態時序多維自適應圖卷積網絡模型，作為骨架行為識別模型；所述骨架行為識別模型包括：骨架行為識別支流模型；

S5：設置并調整所述骨架行為識別模型的超參數，使用所述多支流訓練用特征數據，對所述骨架行為識別模型中的每一個所述骨架行為識別支流模型進行訓練，獲得訓練好的所述骨架行為識別支流模型；

S6：獲取待識別視頻數據，提取待識別視頻數據組中的骨架信息數據，基于骨架信息數據提取待識別骨架時空圖，將所述待識別骨架時空圖并分別輸入到每一個訓練好的所述人體骨架行為識別支流模型中，將各支流模型的輸出進行融合，得到最終的骨架行為識別結果；

步驟S4中，構建動態時序多維自適應圖卷積網絡模型，包括以下步驟：

S4-1：將所述骨架時空圖中每一個節點的鄰域進行子集劃分，得到所述骨架時空圖對應的骨架節點子集；所述骨架節點子集包括：節點自身子集、向心鄰居節點子集、離心鄰居節點子集；

所述節點自身子集中包括節點自身；

所述向心鄰居節點子集中包括：靠近骨架重心的向心鄰居節點；

所述離心鄰居節點子集中包括：遠離骨架重心的離心鄰居節點；

S4-2：基于所述骨架時空圖，構建多維度自適應圖，所述多維度自適應圖包括：空間自適應圖、時間自適應圖和通道自適應圖；

所述空間自適應圖為基于所述骨架時空圖提取的空間圖；

所述時間自適應圖為基于所述骨架時空圖提取的時間圖經過維度變換后生成；

所述通道自適應圖為基于所述骨架時空圖提取的通道圖經過維度變換后生成；

將所述多維度自適應圖和初始鄰接矩陣及掩碼矩陣相結合得到多維自適應鄰接矩陣，將所述多維自適應鄰接矩陣進行圖卷積，并與所述骨架節點子集一起構建空間圖卷積層，記作：多維自適應圖卷積模塊；

S4-3：基于所述骨架時空圖，引入對二維卷積權重和偏置的注意力機制，構造9×1的動態時序卷積提取所述骨架時空圖的時間特征，構建時序圖卷積層，記作：動態時序卷積模塊；

S4-4：將所述多維自適應圖卷積模塊和所述動態時序卷積模塊相結合，構建動態時序多維自適應圖卷積塊；

所述動態時序多維自適應圖卷積塊包括：依次連接的多維自適應圖卷積層、BN層、RELU和動態時序卷積層；

S4-5：構建所述骨架行為識別模型；

所述骨架行為識別模型包括：依次連接的BN層、10個動態時序多維自適應圖卷積塊、GAP層和softmax層。

2.根據權利要求1所述基于動態時序多維自適應圖卷積網絡的骨架行為識別方法，其特征在于：步驟S3中，所述多支流訓練用特征數據包括：節點信息Joint、骨骼信息Bone、節點運動信息Joint_motion、骨骼運動信息Bone_motion。

3.根據權利要求1所述基于動態時序多維自適應圖卷積網絡的骨架行為識別方法，其特征在于：步驟S3中，基于骨架信息數據，提取骨架行為特征數據，對所述骨架行為特征數據進行建模的方法，包括以下步驟：

S3-1：以節點自身建模作為關節信息，假設t幀的節點信息Joint表示為J^t；

S3-2：以靠近骨骼重心的節點為源節點以遠離骨骼重心的節點為目標節點骨骼信息Bone表示源節點指向目標節點的向量由于節點數比骨骼數多1，將中心節點設置為空骨骼即值為0；

S3-3：節點運動信息和骨骼運動信息以各自相鄰兩幀之間的坐標差表示，因此節點運動信息Joint_motion計算公式為骨骼運動信息Bone_motion的計算公式為由于時間幀數比運動信息多1，將最后一幀的值設為0。