[發(fā)明專利]一種基于3D時空圖卷積的骨架行為識別方法

在審

• 申請?zhí)枺?/td>: 202010692916.3
• 申請日: 2020-07-17
• 公開（公告）號: CN111814719A
• 公開（公告）日: 2020-10-23
• 發(fā)明（設(shè)計）人: 曹毅;劉晨;費鴻博;周輝
• 申請（專利權(quán)）人: 江南大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 無錫盛陽專利商標(biāo)事務(wù)所(普通合伙) 32227
• 代理人: 顧吉云;黃瑩

本發(fā)明提供一種基于3D時空圖卷積的骨架行為識別方法，其不僅能夠?qū)崿F(xiàn)對骨架信息同時進行空間建模、時間建模，還能表示時空信息之間的連通性；同時，其能夠在大型骨架數(shù)據(jù)集上取得優(yōu)異的識別準(zhǔn)確率，并具備有良好的泛化性能。本發(fā)明的技術(shù)方案中，通過結(jié)合2D圖卷積的拉普拉斯算子與多幀的時間拉普拉斯算子，構(gòu)建了3D時空圖卷積神經(jīng)網(wǎng)絡(luò)模型，3D時空圖卷積神經(jīng)網(wǎng)絡(luò)模型中的當(dāng)前節(jié)點的更新依賴于所述當(dāng)前2D圖中與之存在連接的關(guān)節(jié)節(jié)點的狀態(tài)，同時還與前后相鄰的所述相鄰2D圖中對應(yīng)節(jié)點的節(jié)點狀態(tài)相關(guān)；通過聯(lián)合所述當(dāng)前2D圖中的相關(guān)狀態(tài)信息與前后相鄰的所述相鄰2D圖中相同節(jié)點的狀態(tài)信息，實現(xiàn)空間信息與時間信息的連通，構(gòu)建出3D圖卷積。

技術(shù)領(lǐng)域

本發(fā)明涉及機器視覺識別技術(shù)領(lǐng)域，具體為一種基于3D時空圖卷積的骨架行為識別方法。

背景技術(shù)

機器視覺領(lǐng)域中的骨架行為識別方法為利用深度相機、紅外相機等傳感器收集目標(biāo)對象的動作數(shù)據(jù)， 并對其進行數(shù)據(jù)分析，借助計算機實現(xiàn)對目標(biāo)對象動作的自動理解和行為分析。骨骼行為識別技術(shù)溝通了 底層視頻數(shù)據(jù)與高層動作語意信息，因此骨架行為識別研究能廣泛的應(yīng)用于視頻監(jiān)控、人機交互、視頻理 解等領(lǐng)域。現(xiàn)有的骨架行為識別技術(shù)研究中，大多基于循環(huán)神經(jīng)網(wǎng)絡(luò)、時間卷積網(wǎng)絡(luò)展開；隨著圖卷積神 經(jīng)網(wǎng)絡(luò)的興起也有基于圖卷積神經(jīng)網(wǎng)絡(luò)的研究，將圖卷積與骨架行為識別相結(jié)合，提出了基于圖卷積的骨 架行為識別技術(shù)。然而，現(xiàn)有技術(shù)中的研究方向大多是針對空間特征或者針對時間特征進行建模，而忽略 了時間信息與空間信息之間存在連通性；所以現(xiàn)有的骨架行為識別技術(shù)大多存在缺乏針對骨架信息同時進 行時間和空間建模的能力，而忽略時空連通性，會導(dǎo)致識別準(zhǔn)確率不理想，識別方法的泛化性能不夠強。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)缺乏針對骨架信息同時進行時空建模的能力，導(dǎo)致識別準(zhǔn)確率不理想的問題，本發(fā) 明提供一種基于3D時空圖卷積的骨架行為識別方法，其不僅能夠?qū)崿F(xiàn)對骨架信息同時進行空間建模、時 間建模，還能表示時空信息之間的連通性；同時，其能夠在大型骨架數(shù)據(jù)集上取得優(yōu)異的識別準(zhǔn)確率，并 具備有良好的泛化性能。

本發(fā)明的技術(shù)方案是這樣的：一種基于3D時空圖卷積的骨架行為識別方法，其包括以下步驟：

S1：獲取原始視頻樣本，對所述原始視頻樣本進行預(yù)處理，并獲取所述原始視頻樣本中骨架信息數(shù)據(jù)；

其特征在于，其還包括以下步驟：

S2：將所述原始視頻樣本的每一幀的所述骨架信息數(shù)據(jù)建模成一張2D圖G(x,A)：

其中：x∈R^N×C，A是骨架關(guān)節(jié)點連接關(guān)系矩陣；

S3：基于獲取的所述骨架信息數(shù)據(jù)，進行數(shù)據(jù)處理，提取驗證用輸入特征向量、訓(xùn)練用特征向量；

S4：基于3D時空圖卷積方法，構(gòu)建3D圖卷積神經(jīng)網(wǎng)絡(luò)模型，作為骨架行為識別模型；

設(shè)，所述3D時空圖卷積方法中，當(dāng)前節(jié)點對應(yīng)的所述2D圖記做當(dāng)前2D圖，與所述當(dāng)前節(jié)點的前后 相鄰的所述2D圖都記做相鄰2D圖；

則：所述3D時空圖卷積方法中，所述當(dāng)前節(jié)點的更新依賴于所述當(dāng)前2D圖中與之存在連接的關(guān)節(jié) 節(jié)點的狀態(tài)，同時還與前后相鄰的所述相鄰2D圖中對應(yīng)節(jié)點的節(jié)點狀態(tài)相關(guān)；通過聯(lián)合所述當(dāng)前2D圖 中的相關(guān)狀態(tài)信息與前后相鄰的所述相鄰2D圖中相同節(jié)點的狀態(tài)信息，實現(xiàn)空間信息與時間信息的連通， 從而完整表示動作的時空動作信息；

所述骨架行為識別模型包括子網(wǎng)絡(luò)結(jié)構(gòu)塊，串聯(lián)子網(wǎng)絡(luò)結(jié)構(gòu)塊構(gòu)建完整網(wǎng)絡(luò)模型；每一個所述子網(wǎng)絡(luò) 結(jié)構(gòu)塊包括：3D圖卷積層、選擇性卷積層；所述3D圖卷積層用于提取具有時空連通性特征；所述選擇性 卷積層用于進行特征層數(shù)調(diào)整；

S5：設(shè)置并調(diào)整所述骨架行為識別模型的超參數(shù)，基于所述訓(xùn)練用特征向量，通過訓(xùn)練確定最優(yōu)超參 數(shù)與網(wǎng)絡(luò)結(jié)構(gòu)，獲得訓(xùn)練好的所述骨架行為識別模型；