[發(fā)明專利]基于注意力時間池化圖卷積的骨架動作識別方法

在審

• 申請?zhí)枺?/td>: 202011206214.6
• 申請日: 2020-11-03
• 公開（公告）號: CN112036379A
• 公開（公告）日: 2020-12-04
• 發(fā)明（設計）人: 徐行;朱怡燃;沈復民;申恒濤
• 申請（專利權）人: 成都考拉悠然科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識產(chǎn)權代理有限公司 51230
• 代理人: 郝迎賓

本發(fā)明公開了一種基于注意力時間池化圖卷積的骨架動作識別方法，屬于骨架動作識別領域。本發(fā)明包括：選擇數(shù)據(jù)集，并將其劃分為訓練集和測試集；基于訓練集構建基于注意力時間池化圖卷積的骨架動作識別模型；對構建的基于注意力時間池化圖卷積的骨架動作識別模型進行監(jiān)督式訓練；利用測試集對訓練好的基于注意力時間池化圖卷積的骨架動作識別模型進行驗證；使用驗證后的基于注意力時間池化圖卷積的骨架動作識別模型識別骨架動作。本發(fā)明能夠更好地保留關鍵時序信息，并過濾掉非關鍵幀的冗余信息，能夠增強時序特征，進而增強了骨架動作識別的效果。

技術領域

本發(fā)明涉及骨架動作識別領域，尤其涉及一種基于注意力時間池化圖卷積的骨架動作識別方法。

背景技術

骨架動作識別現(xiàn)在吸引了越來越多的注意力在很多計算機視覺領域，比如智能監(jiān)控，人機交互，視頻理解以及VR等等。在這個任務中，使用的數(shù)據(jù)是骨架數(shù)據(jù)，一系列人體關節(jié)點3D坐標。骨架數(shù)據(jù)在動作識別中具有很好的魯棒性和靈活性，相較于RGB動作識別。因為在RGB動作識別中，動作的分類過程容易受到視頻圖片幀中背景的干擾，從而在一定程度上降低識別準確率。對于骨架動作識別，很容易從3D傳感器還有現(xiàn)在成熟的姿態(tài)估計算法獲取，因為只含有人體關鍵點坐標，過濾了背景噪聲，從而具有很好的魯棒性，另外骨架數(shù)據(jù)相比視頻數(shù)據(jù)，數(shù)據(jù)規(guī)模要小很多，從而減少了模型計算效率。以上是骨架動作識別的優(yōu)勢。

隨著深度學習的發(fā)展，在骨架動作識別里面主要有三類方法，基于CNN的，基于RNN的以及基于GNN的。在之前，大部分方法習慣將骨架數(shù)據(jù)，一個人體關節(jié)點坐標序列，通過編碼表示成圖像然后利用基于CNN或者RNN的方法進一步提取動作特征。但是這些方法將骨架序列表示為圖像是不自然的，骨架序列可以很自然的表示為一張圖，基于人體物理結構。這也是隨后基于GNN的模型所采取的數(shù)據(jù)表示形式。將人體關節(jié)點作為點，將基于身體物理連接的bone作為邊，建立圖。這樣就可以利用強大的圖神經(jīng)網(wǎng)絡來更好地融合骨架信息，來促進識別性能。在基于GNN的方法中，GCN被頻繁使用，GCN可以看作CNN在非歐式空間數(shù)據(jù)上的推廣，非常適合在像圖一樣的拓撲結構上提取信息。

在現(xiàn)有眾多方法中，時空圖卷積網(wǎng)絡很早就運用了GCN，在STGCN中，若將3D骨架數(shù)據(jù)以解耦的方式，先將骨架數(shù)據(jù)通過2D圖卷積去提取空間關節(jié)信息，隨后利用1D時間卷積去提取時序信息，取得了比較好的性能和效率。但是，在2S-AGCN中，發(fā)現(xiàn)long-range信息沒有被很好提取，受Non-local的啟發(fā)，加入了adaptive GCN module，另外也是利用了雙流架構，在之后的MSAAGCN中采用了多條分支，并且引入注意力使性能得到了提升。

然而，在以上基于解耦的方法，利用TCN提取骨架時序信息時，采用了一種na?ve的下采樣方式，但是，這樣通過設置步長均勻下采樣會損失掉一部分信息，很直覺地，在一個動作序列中，時間幀存在一些關鍵幀并不是按照均勻分布的。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種能夠更好地識別骨架動作的基于注意力時間池化圖卷積的骨架動作識別方法。

本發(fā)明解決其技術問題，采用的技術方案是：基于注意力時間池化圖卷積的骨架動作識別方法，包括如下步驟：

步驟1、選擇數(shù)據(jù)集，并將其劃分為訓練集和測試集；

步驟2、基于訓練集構建基于注意力時間池化圖卷積的骨架動作識別模型；

步驟3、對構建的基于注意力時間池化圖卷積的骨架動作識別模型進行監(jiān)督式訓練；

步驟4、利用測試集對訓練好的基于注意力時間池化圖卷積的骨架動作識別模型進行驗證；

步驟5、使用驗證后的基于注意力時間池化圖卷積的骨架動作識別模型識別骨架動作。

進一步的是，步驟1中，所述數(shù)據(jù)集為NTU-RGBD。