[發(fā)明專利]基于通道注意力的輕量化圖卷積人體骨架動(dòng)作識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110372148.8
• 申請(qǐng)日: 2021-04-07
• 公開(kāi)（公告）號(hào): CN113111760B
• 公開(kāi)（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 劉成菊;黨榮浩;陳啟軍;張恒
• 申請(qǐng)（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/774;G06V10/82;G06N3/042;G06N3/0464;G06N3/08
• 代理公司: 上?？剖⒅R(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 楊宏泰

1.一種基于通道注意力的輕量化圖卷積人體骨架動(dòng)作識(shí)別方法，其特征在于，包括以下步驟：

S1：獲取視頻影像中人體骨架的骨架序列信息；

S2：添加關(guān)節(jié)點(diǎn)索引信息，并計(jì)算骨架關(guān)節(jié)點(diǎn)的鄰接矩陣；

S3：利用鄰接矩陣以及引入通道注意力機(jī)制的殘差GCN網(wǎng)絡(luò)提取骨架序列的空間特征，所述的鄰接矩陣在使用時(shí)進(jìn)行隨機(jī)失活處理；

S4：添加幀索引信息，并進(jìn)行最大池化處理；

S5：利用一階CNN網(wǎng)絡(luò)提取骨架序列的時(shí)間特征；

S6：通過(guò)最大池化生成最終的特征序列，并得到識(shí)別分類結(jié)果；

步驟S4具體為：

首先將幀索引信息通過(guò)獨(dú)熱編碼加到每一幀的空間特征中，再利用空間最大池化的將每一幀的關(guān)節(jié)信息進(jìn)行聚合；

步驟S6具體為：

利用時(shí)間維度的最大池化生成最終的特征序列，再用全連接層和softmax層生成最終的分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于通道注意力的輕量化圖卷積人體骨架動(dòng)作識(shí)別方法，其特征在于，步驟S1具體包括：

S11：對(duì)視頻影像中的人體骨架建模并進(jìn)行預(yù)處理，得到初始骨架序列信息；

S12：利用相鄰幀之間作差的方式，獲取初始骨架序列信息中的一階信息、二階信息和三階信息；

S13：在保證數(shù)據(jù)初始維度不變的情況下，將一階信息、二階信息和三階信息融合相加，得到最終的骨架序列信息。

3.根據(jù)權(quán)利要求1所述的一種基于通道注意力的輕量化圖卷積人體骨架動(dòng)作識(shí)別方法，其特征在于，步驟S2中，利用兩個(gè)全連接層對(duì)骨架關(guān)節(jié)點(diǎn)之間相似性和親和度的建模，通過(guò)內(nèi)積計(jì)算得到鄰接矩陣。

4.根據(jù)權(quán)利要求3所述的一種基于通道注意力的輕量化圖卷積人體骨架動(dòng)作識(shí)別方法，其特征在于，所述的鄰接矩陣的計(jì)算式為：

其中，G為鄰接矩陣，z_t為第t幀的骨架序列信息，θ(z_t,i)為雙層全連接層θ對(duì)第t幀骨架序列信息z_t進(jìn)行編碼后的數(shù)據(jù)，為雙層全連接層對(duì)第t幀骨架序列信息z_t進(jìn)行編碼后的數(shù)據(jù)，所述的雙層全連接層θ和雙層全連接層為兩個(gè)權(quán)重不共享的雙層連接層。

5.根據(jù)權(quán)利要求1所述的一種基于通道注意力的輕量化圖卷積人體骨架動(dòng)作識(shí)別方法，其特征在于，所述的引入通道注意力機(jī)制的殘差GCN網(wǎng)絡(luò)為多層結(jié)構(gòu)，每一層分別包括GCN網(wǎng)絡(luò)模塊、殘差連接模塊和通道注意力機(jī)制模塊，所述的通道注意力機(jī)制模塊接入于GCN網(wǎng)絡(luò)模塊的輸出和殘差連接模塊之間，所述的GCN網(wǎng)絡(luò)模塊的輸入包括鄰接矩陣和融合了關(guān)節(jié)點(diǎn)索引信息的骨架序列信息。

6.根據(jù)權(quán)利要求5所述的一種基于通道注意力的輕量化圖卷積人體骨架動(dòng)作識(shí)別方法，其特征在于，所述的引入通道注意力機(jī)制的殘差GCN網(wǎng)絡(luò)的每一層中輸入GCN網(wǎng)絡(luò)模塊的鄰接矩陣均采用前一個(gè)鄰接矩陣經(jīng)過(guò)隨機(jī)失活之后的結(jié)果。

7.根據(jù)權(quán)利要求5所述的一種基于通道注意力的輕量化圖卷積人體骨架動(dòng)作識(shí)別方法，其特征在于，所述的通道注意力機(jī)制模塊首先通過(guò)全局平局池化層聚合每個(gè)通道的信息，再通過(guò)利用Relu層進(jìn)行非線性激活的兩個(gè)全連接層，最后通過(guò)sigmoid層得到每個(gè)通道的權(quán)重值。