[發明專利]一種基于圖卷積神經網絡的人類動作識別方法

在審

• 申請號: 202011600579.7
• 申請日: 2020-12-29
• 公開（公告）號: CN112633209A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 毛克明;李翰鵬
• 申請（專利權）人: 東北大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京君泊知識產權代理有限公司 11496
• 代理人: 李丹

本發明公開了一種基于圖卷積神經網絡的人類動作識別方法，準備人類動作視頻數據，并進行標注，并根據不同種類的動作對視頻標簽進行標注；使用openpose姿態估計算法對人類動作視頻數據進行骨骼關鍵點特征的提取，然后通過骨骼點主流網絡計算相鄰幀骨骼關鍵點變化速度并進行特征拼接；對骨骼關鍵點進行篩選并通過角度分支網絡計算篩選的骨骼關鍵點的夾角并進行特征拼接；將拼接好的數據傳入圖神經網絡；將圖卷積從空間域擴展到時間域；使用一個交叉注意力模型來增強網絡的性能；人類動作識別。本發明能夠將輸入的視頻中的人類所表現的動作識別出來并輸出，并具有良好的易用性和魯棒性，為人工智能技術在動作識別領域實際落地奠定一定的基礎。

技術領域

本發明涉及計算機視覺技術領域，特別是一種基于圖卷積神經網絡的人類動作識別方法。

背景技術

人工智能技術已經輻射到各行各業，動作識別技術更是諸多熱門應用和需求的關鍵技術，已經成了當下計算機視覺領域最受關注的方向之一。例如在智能監控攝像頭中對人類異常行為的檢測和報警，在視頻中對人類行為的分類和檢索，包括采用在高畫質游戲中的動作采集技術，可以將職業演員的動作放入游戲之中，給玩家帶來沉浸感。相信在未來動作識別技術將會有越來越多的應用。

目前計算機視覺領域常常將類似技術應用在人類動作識別方向，其中主要分為兩種方法，一種是基于視頻的RGB和光流的方法，另一種是基于人類骨骼關鍵點的方法。其中基于視頻的RGB和光流的方法可以對任務進行端到端的學習，但是對視頻提取光流是一項非常繁重的任務，雖然目前已有各種方法來減小提取光流帶來的損耗，但是光流對動作識別始任務始終是一種強有力的特征。而基于人類骨骼關鍵點的方法是在姿態估計技術發展成熟后新興起的一種動作識別方法，與傳統基于視頻的RGB和光流的方法相比較，它可以對人類行為進行更有效的建模，因為傳統方法無法避免背景和光線變換帶來的影響。另一方面它需要使用姿態估計算法對視頻進行特征提取，在這方面要比傳統方法多一個步驟。另外，現有的針對動作識別方法只是簡單的利用了骨骼關鍵點數據，而描述動作的信息不只是坐標，角度和其變化的速度也是動作識別特征描述的一個重要元素。

因此，針對目前該領域的現狀，與動作本身的復雜性，需要一種針對該任務的具有深度學習理論基礎和描述元素更多的人類動作識別方法。

發明內容

本發明的目的是針對目前該領域的現狀，與動作本身的復雜性，提供一種基于圖卷積神經網絡的人類動作識別方法。

為達到上述目的，本發明是按照以下技術方案實施的：

一種基于圖卷積神經網絡的人類動作識別方法，包括如下步驟：

步驟1：準備人類動作視頻數據，并進行標注，并根據不同種類的動作對視頻標簽進行標注；

步驟2：使用openpose姿態估計算法對人類動作視頻數據進行骨骼關鍵點特征的提取，然后通過骨骼點主流網絡計算相鄰幀骨骼關鍵點變化速度并進行特征拼接；對骨骼關鍵點進行篩選并通過角度分支網絡計算篩選的骨骼關鍵點的夾角并進行特征拼接；

步驟3：將拼接好的數據傳入圖神經網絡；

步驟4：將圖卷積從空間域擴展到時間域；

步驟5：使用一個交叉注意力模型來增強網絡的性能；

步驟6：構建由九個時空卷積模塊加全局池化層，和Softmax層組成的圖卷積神經網絡，全局池化層作用為對圖結構中的節點特征進行匯總，以將節點級的特征升級為圖級別的特征，再通過Softmax層輸出人類動作視頻中人的動作編號。

進一步地，所述步驟2具體包括：

步驟2.1：首先對視頻進行裁剪，保證每個視頻中人類位于視頻中央；