[發明專利]一種基于多流信息增強圖卷積網絡的動作識別方法、系統及存儲介質

有效

• 申請號: 202110727644.0
• 申請日: 2021-06-29
• 公開（公告）號: CN113408455B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 周莉;孫士剛;馬紀超;賈思敏;薛立曉;劉文睿;牟進正
• 申請（專利權）人: 山東大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/764;G06V10/74;G06V10/82;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 楊樹云

本發明提出了一種基于多流信息增強圖卷積網絡的動作識別方法、系統及存儲介質，包括：步驟1：獲取人體動作的骨架序列；步驟2：提取關鍵骨架序列；步驟3：構建骨架時空圖，并得到五種不同的骨架序列數據；步驟4：構建多流信息增強圖卷積網絡；步驟5：對多流信息增強圖卷積網絡進行訓練，得到人體動作識別模型。步驟6：將人體骨骼序列數據輸入到訓練好的多流信息增強圖卷積網絡中，得到該動作的分類結果。本發明通過提取關鍵骨架序列減少神經網絡計算量的前提下，擴展出五種骨架序列數據，構建具有更優時空特征提取能力的多流信息增強圖卷積網絡，與現有技術相比，提高了基于骨架關節點的動作識別方法的識別率和魯棒性。

技術領域

本發明屬于計算機視覺及深度學習技術領域，具體涉及了一種基于多流信息增強圖卷積網絡的動作識別方法、系統及存儲介質。

背景技術

在計算機視覺中，動作識別在智能視頻監控、人機交互和運動分析等許多應用中發揮著重要作用。骨骼序列是人類關節和骨骼在時空域中的集合，對尺度變化、背景干擾等具有很強的魯棒性。最早的骨骼動作識別方法簡單地利用身體關節在每一幀上的位置來形成模式學習的特征向量。顯然，這些向量序列表示嚴重破壞了人體關節之間的自然全局依賴關系。不能充分利用骨架數據的圖結構。圖卷積網絡將卷積從圖像推廣到圖上，ST-GCN設計了一種時空圖卷積網絡，將人體的自然骨架結構通過骨架時空圖表示，可以同時學習空間和時間特征。此外，根據骨架建模的具體要求，提出了卷積核的設計原則、子集劃分的策略以及基于距離的采樣函數構造圖卷積層作為網絡的基本模塊，在后續工作中得到廣泛應用。

然而對基于骨骼序列的動作識別任務，數據集通常包括很多幀，相鄰幀之間動作變化差別不大，然而神經網絡對于輸入的骨架序列都需進行計算，當數據量較多時，神經網絡的訓練耗時較長。

ST-GCN使用的骨架圖依賴于人體的物理結構，但人類的運動可能會打破自然骨骼連接的限制。例如，在“摸頭”的動作中，手關節點和頭關節點聯系密切。但在基于人體物理結構的骨架圖中，由于手和頭彼此相距很遠，很難捕捉它們之間的相關性。

已有的圖卷積方案忽略了時序圖卷積的優化。時間維度上僅局限于對連續幀上的同一關節點連接計算時間圖卷積。這種方法不能直接提取骨架幀之間相鄰關節點的時間特征。

除了由骨架序列提供的關節坐標之外，由關節坐標導出的高階骨架信息對于動作識別來說具有更多信息性和辨別性的。已有的圖卷積方案未能提取出這些的信息來進行動作識別。

發明內容

為了解決上述問題，本發明提供了一種結合關鍵骨架序列提取和多流信息增強圖卷積網絡的動作識別方法。

本發明還提供了一種計算機設備和存儲介質。

本發明的技術方案為：

一種基于多流信息增強圖卷積網絡的動作識別方法，包括以下步驟：

步驟1：獲取視頻流中每一幀中人體骨架的關節點的坐標，預處理后形成人體動作的骨架序列；

步驟2：運用余弦向量來判別相鄰兩幀骨架的相似度，提取關鍵骨架序列；

步驟3：基于步驟2提取的關鍵骨架序列，構建骨架時空圖，并由關節點坐標值計算骨骼、關節時間差、骨骼時間差、骨骼的時間旋轉角度，得到關節點、骨骼、關節點時間差、骨骼時間差、骨骼的時間旋轉角度五種不同的骨架序列數據；

步驟4：構建多流信息增強圖卷積網絡，所述多流信息增強圖卷積網絡包括五路網絡結構相同的信息增強圖卷積網絡IE-GCN；

步驟5：對多流信息增強圖卷積網絡進行訓練，訓練過程中采用隨機梯度下降法作為優化策略，選擇交叉熵作為梯度反向傳播的損失函數；

步驟6：在動作類別的識別過程中，將人體骨骼序列數據輸入到訓練好的多流信息增強圖卷積網絡中，得到該動作的分類結果。