[發明專利]基于通道注意力的輕量化圖卷積人體骨架動作識別方法

有效

• 申請號: 202110372148.8
• 申請日: 2021-04-07
• 公開（公告）號: CN113111760B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 劉成菊;黨榮浩;陳啟軍;張恒
• 申請（專利權）人: 同濟大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774;G06V10/82;G06N3/042;G06N3/0464;G06N3/08
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 楊宏泰

本發明涉及一種基于通道注意力的輕量化圖卷積人體骨架動作識別方法，包括以下步驟：S1：獲取視頻影像中人體骨架的骨架序列信息；S2：添加關節點索引信息，并計算骨架關節點的鄰接矩陣；S3：利用鄰接矩陣以及引入通道注意力機制的殘差GCN網絡提取骨架序列的空間特征，所述的鄰接矩陣在使用時進行隨機失活處理；S4：添加幀索引信息，并進行最大池化處理；S5：利用一階CNN網絡提取骨架序列的時間特征；S6：通過最大池化生成最終的特征序列，并得到識別分類結果，與現有技術相比，本發明具有魯棒性、實時性和準確性高等優點。

技術領域

本發明涉及計算機視覺和深度學習領域，尤其是涉及一種基于通道注意力的輕量化圖卷積人體骨架動作識別方法。

背景技術

人體動作識別是計算機視覺領域的重要研究方向，有著廣闊的應用場景和市場價值，比如：異常行為監控、用戶行為分析等。骨架序列數據是一種抽象化的人體動作數據，利用3D坐標、關節索引和關節連接關系表示了人體各個關鍵部位的運動。早期的骨架動作識別方法中，大多采用手工提取的特征，利用特征映射等方式對數據進行處理整合。深度學習的方法興起后，利用神經網絡對骨架的時空信息進行建模漸漸的變為主流，相繼出現了基于RNN、CNN、GCN等各種方法，并且效果明顯優于基于手工特征的方法。

基于RNN遞歸神經網絡的方法主要是利用LSTM/GRU等模型建模骨架序列的時間動態變化。但這種方法只是將每一幀的關節三維坐標信息以某種順序排列成一個向量輸入到遞歸神經網絡中，并對不同的關節進行區分，也就丟失了重要的空間信息。CNN卷積神經網絡在圖像處理領域愈發的火熱，研究者通過將骨架信息編排成偽圖片的形式，即將三維坐標(x,y,z)類比成圖像中的三通道(R,G,B)，將時間序列和關節索引類比成圖像的長寬。這樣，通過基本的二維CNN卷積操作就能夠將時間和空間的信息聚合起來，提取時空的聯合特征。但是這樣的數據組織無法表示關節之間的拓撲結構和連接關系，關節之間的相互影響也難以進行有效的建模。

用于骨架動作識別的GCN圖卷積神經網絡包括ST-GCN、AS-GCN和2S-AGCN。ST-GCN是利用GCN方法解決動作識別問題的開端，此方法使用時空圖卷積網絡不斷的聚合相鄰關節和相鄰幀之間的特征，實現了對于人體關節自然連接關系的建模。AS-GCN對于ST-GCN中的問題進行了改進，發現自然連接較遠的關節之間也會有隱連接，如走路時手和腳的擺動。所以AS-GCN將訓練分為兩路，一路側重于探索結構之間的連接，另一路側重于探索動作導致的節點之間的隱連接。2S-AGCN中提出了自適應圖卷積方法，將鄰接矩陣分為三部分的疊加：原始連接、訓練出來的關節相關性、根據每個輸入計算的關節相似性，更加靈活的對關節之間的關系進行了建模。

如今利用圖卷積神經網絡的骨架動作識別方法仍在不斷的發展中，對于建模節點-骨架關系、時空聯合特征以及輕量化網絡等方面，仍需要進一步探索，以進一步提高骨架動作識別的魯棒性、實時性和準確性。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種魯棒性好、實時性強和準確性高的基于通道注意力的輕量化圖卷積人體骨架動作識別方法。

本發明的目的可以通過以下技術方案來實現：

一種基于通道注意力的輕量化圖卷積人體骨架動作識別方法，包括以下步驟：

S1：獲取視頻影像中人體骨架的骨架序列信息；

S2：添加關節點索引信息，并計算骨架關節點的鄰接矩陣；

S3：利用鄰接矩陣以及引入通道注意力機制的殘差GCN網絡提取骨架序列的空間特征，所述的鄰接矩陣在使用時進行隨機失活處理；

S4：添加幀索引信息，并進行最大池化處理；

S5：利用一階CNN網絡提取骨架序列的時間特征；

S6：通過最大池化生成最終的特征序列，并得到識別分類結果。