[發明專利]基于圖卷積網絡的人體骨架行為識別方法、系統、裝置

有效

• 申請號: 201910446596.0
• 申請日: 2019-05-27
• 公開（公告）號: CN110222611B
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 原春鋒;呂紅杰;李兵;段運強;胡衛明;劉雨帆
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于計算機視覺及深度學習領域，具體涉及了一種基于圖卷積網絡的人體骨架行為識別方法、系統、裝置，旨在解決基于圖卷積神經網絡的人體骨架行為識別結果精度不高的問題。本發明方法包括：獲取骨架視頻幀并歸一化；構建每一幀圖對應的人體關節自然連接圖；學習非自然連接邊，獲得人體關節連接圖；為人體關節連接圖各條邊分配權重值；進行圖卷積操作，獲得骨架序列的空間信息；在時間維度上進行卷積操作，獲得骨架序列的行為類別。本發明自然連接邊能夠學習到基本的人體行為特征，同時非自然連接邊可以學習到附加的行為特征，通過自然連接邊和非自然連接邊共同構成一張圖，可以更加充分的表征人體運動信息，提高識別性能。

技術領域

本發明屬于計算機視覺及深度學習領域，具體涉及了一種基于圖卷積網絡的人體骨架行為識別方法、系統、裝置。

背景技術

行為識別作為計算機視覺的一個重要研究領域，旨在從一段給定視頻中區分出人體所做的行為所屬類別。行為識別應用廣泛，在智能家居、運動分析、視頻監控以及人機交互等多個領域具有重要的研究價值。目前的行為識別方法主要從基于RGB視頻和基于人體骨架關節點兩個角度進行研究。基于RGB視頻的方法易受光照、遮擋的影響，魯棒性較差，而基于人體骨骼關節點的方法則具有極強的判別性，不受光照影響，對視角變換、尺度變換等都具有較高的魯棒性。因此，基于人體骨架關節點的行為識別方法也越來越受到研究者的關注。

基于人體骨架節點的行為識別方法主要分為兩類，一類是基于傳統的機器學習方法，這類方法需要進行手工特征設計，描述行為屬性，然后訓練分類器，進行行為識別。例如，通過將人體骨架序列建模為圖結構，通過圖核設計提取不同行為特征，最后利用SVM分類器進行行為識別，這類方法的主要缺點是手工設計的特征表征能力有限，無法保證良好的區分效果；另一類是基于深度學習的方法，這類方法以目標為導向，通過構建不同的深度神經網絡架構進行行為識別，使用大量數據訓練網絡模型，使網絡自動學習行為特征，往往能夠取得更好的分類效果。例如，基于LSTM的方法在時間上建模，能夠更好的描述時間依賴性；通過將整個視頻的骨架序列表示為一幅圖像的形式，然后采用基于CNN的方法進行卷積，獲取每個視頻的行為特征，進行行為識別，可以更好地捕獲行為的時空特征。

最近，隨著圖卷積網絡(GCN，Graph Convolutional Network)的流行，許多研究者開始從GCN的角度進行研究。但是，在實際工程中，大部分研究基于人體關節點的自然連接圖，由于人體關節點的自然連接圖并不能充分表征運動特征，例如，在進行“拍手”動作時，人的兩只手之間存在交互關系；“摸頭”動作中，手和頭之間存在交互，而自然連接圖中不存在兩只手之間、手與頭之間的連接，無法表征這些關系。同時，不同圖的構建方式，對行為識別的分類結果會也帶來很大影響。

發明內容

為了解決現有技術中的上述問題，即基于圖卷積神經網絡的人體骨架行為識別結果精度不高的問題，本發明提供了一種基于圖卷積網絡的人體骨架行為識別方法，包括：

步驟S10，獲取骨架視頻中預設的視頻幀并進行歸一化處理后作為待識別骨架序列；

步驟S20，對所述待識別骨架序列中每一幀圖，根據關節點坐標構建待對應的人體關節自然連接圖，關節點為圖的節點，關節點之間的自然連接為圖的自然連接邊；

步驟S30，基于所述待識別骨架序列每一幀圖對應的人體關節自然連接圖的自然連接邊，學習非自然連接邊，并與所述自然連接邊一起構成待識別骨架序列每一幀圖對應的人體關節連接圖；

步驟S40，分別為所述待識別骨架序列每一幀圖對應的人體關節連接圖的各條邊分配預設的權重值，獲得對應的帶有不同權重值的人體關節連接圖；

步驟S50，對所述待識別骨架序列每一幀圖對應的帶有不同權重值的人體關節連接圖進行圖卷積操作，獲取待識別骨架序列的空間信息；

步驟S60，基于所述待識別骨架序列的空間信息，在時間維度上進行卷積操作，獲得待識別骨架序列的行為類別。