[發明專利]基于骨架序列的人類動作識別的語義自適應圖網絡方法

在審

• 申請號: 202110443223.5
• 申請日: 2021-04-23
• 公開（公告）號: CN113128425A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 劉峰;付子旺;張嘉淏;王晗陽;許晴;楊成意;齊佳音;傅湘玲;周愛民;李志斌
• 申請（專利權）人: 上海對外經貿大學;華東師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 無錫市匯誠永信專利代理事務所(普通合伙) 32260
• 代理人: 朱曉林

本發明提供的基于骨架序列的人類動作識別的語義自適應圖網絡方法，涉及計算機視覺技術領域，該方法包括：將數據預處理后的目標骨架序列的數據分為動力學特征數據、骨骼數據和語義數據；將目標骨架序列的動力學特征數據、骨骼數據和語義數據進行數據融合；對數據融合操作得到的結果進行自適應GCN操作；對自適應GCN操作得到的結果進行時間維度CNN操作。該方法通過引入語義信息、數據融合自適應GCN有效平衡了行為識別模型的準確率和參數量，且能夠適配輕量級應用，更有利于應用于實際場景。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種基于骨架序列的人類動作識別的語義自適應圖網絡方法。

背景技術

人類行為識別是計算機視覺領域的基本問題之一，在視頻監控、人機交互、智能機器人、虛擬現實等領域被廣泛應用。人類行為識別可根據動作特征模態分為：圖像人體輪廓特征、深度圖、視頻人體運動光流以及人體骨架。近年來，人體骨架數據的獲取隨著低成本設備(Kinect V2)的發展變得更加容易，而人體骨架數據相較于RGB數據和深度數據，不容易受到外觀影響，表征的是人體的高級特征。此外，人體骨架數據能夠避免背景遮擋、光照變化以及視角變化產生的噪聲影響，更適用于研究。

在已有的研究中，通過手動設計表征視頻動作特征的傳統分類模型不能適應高識別精度和復雜場景應用的要求，基于深度學習的方法是當前的主流算法。人體骨架數據一般表示為偽圖像、向量序列和拓撲圖，常見處理骨架數據的深度學習方法有卷積神經網絡(Convolutional Neural Network,CNN)、循環神經網絡(Recurrent Neural Network,RNN)、圖卷積網絡(Graph Convolutional Network,GCN)。CNN通過從數據中學習到的局部卷積濾波器和內核來識別，類似于圖像分類。為了方便使用CNN，會將骨架數據進行轉置，行表示不同的關節點，列表示不同的時間幀，(x,y,z)的3D坐標值被視為三個通道，構造出的圖像成為偽圖像，然后進行卷積操作。RNN通過將上一時刻的輸出作為當前時刻的輸入來形成其結構內部的遞歸連接，這被證明是一種處理序列數據的有效方法。人體骨架關節本身是一種拓撲圖，GCN對拓撲圖有著天然的適配性。

然而，現有的行為識別模型參數量和準確率綜合效果并不理想，參數量與準確率的平衡性差，不利于產品的實際推廣應用。

發明內容

針對上述技術問題，本發明提供基于骨架序列的人類動作識別的語義自適應圖網絡方法，有效平衡了行為識別模型的準確率和參數量，且能夠適配輕量級應用，更有利于應用于實際場景。

為實現上述目的，本發明采取的技術方案為：

本發明提供的基于骨架序列的人類動作識別的語義自適應圖網絡方法，該方法包括以下步驟：

S3將目標骨架序列的數據分為動力學特征數據、骨骼數據和語義數據；

S4將目標骨架序列的動力學特征數據、骨骼數據和語義數據進行數據融合；

S6對數據融合操作得到的結果進行自適應GCN操作；

S7對自適應GCN操作得到的結果進行時間維度CNN操作。

具體地，所述步驟S3中的動力學特征數據包括：關節點數據、運動數據和速度差數據；骨骼數據包括：骨長數據和基于速度差的骨長數據；語義數據包括關節類型和幀序號。

具體地，對于目標骨架序列其中T為序列中的總幀數，V為總關節點數，表示在t時刻的關節點v；

選取關節點坐標位置作為關節點數據；對關節點數據進行編碼后得到

計算相鄰兩幀相同關節的差值得到運動數據其中代表關節v在t幀的坐標；代表關節v在t+1幀的坐標；對運動數據進行編碼后得到

計算前T-1幀與后T-1幀的速度差值數據得到速度差數據，即對速度差數據進行編碼得到