[發明專利]一種基于圖卷積網絡的人體行為識別方法及系統

有效

• 申請號: 201911070446.0
• 申請日: 2019-11-05
• 公開（公告）號: CN110796110B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 朱光明;張亮;楊露;李洪升;沈沛意;宋娟
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/40;G06V10/80;G06V10/778;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安知誠思邁知識產權代理事務所(普通合伙) 61237
• 代理人: 閔媛媛

本發明公開了一種基于圖卷積網絡的人體行為識別方法及系統，識別方法包括：從包含人體行為的圖像中提取人體骨架信息，獲取人體關節點位置信息序列，構建人體骨架的任意長度拓撲圖序列；通過基于拓撲可學習圖卷積的時空圖卷積網絡對拓撲圖序列進行特征提取和拓撲結構的自適應演化，得到融合局部時空特征的節點新特征和具有新拓撲結構的拓撲圖序列；通過圖卷積長短期記憶神經網絡進行特征提取；利用全局池化操作得到全局時空特征；通過分類器基于全局時空特征進行人體行為識別。本發明直接學習整個圖的特征，將圖卷積中的權重矩陣擴大到整個拓撲圖結構，學習圖中任意兩節點之間的關系，而不受拓撲結構的限制，識別準確率高。

技術領域

本發明屬于人工智能技術領域，涉及一種基于圖卷積網絡的人體行為識別方法及系統，可用于拓撲圖序列的動作識別。

背景技術

卷積神經網絡在許多領域取得了巨大成果，但其依賴于數據表征具有網格結構。然而許多領域的數據并非網格結構，這些不規則域的數據通常表現為拓撲圖結構，這使得卷積神經網絡難以在圖域上推廣。近年來在圖域上推廣卷積結構已經取得一定進展，在具有不同數量鄰接節點的子圖之間維持卷積的共享權重是卷積網絡在網格數據領域取得成果的重要特性，為了使圖卷積保持這一特性，通常通過在每個節點上定義轉移矩陣和為節點的度定義權重矩陣使得圖卷積可以在不同拓撲子圖上進行學習，并根據時空圖節點的領域子集個數，設計對應的空間劃分規則及確定使用的規則。已有的自適應圖卷積只能學習相鄰節點間的拓撲自適應關系，對距離較遠的節點之間的關系學習能力不足。此外，由于圖卷積中轉移矩陣的限制，往往對拓撲圖序列之間的長期時間關系缺乏有效的建模。

拓撲圖數據的拓撲結構通常在網絡的所有層上都是固定的，但自然的拓撲結構不一定是最優的，因此，具有學習任意拓撲結構能力的圖卷積網絡對卷積神經網絡在拓撲結構數據領域具有重大意義。

發明內容

為了解決上述問題，本發明提供一種基于圖卷積網絡的人體行為識別方法，直接學習整個圖的特征，將圖卷積中的權重矩陣擴大到整個拓撲圖結構，學習圖中任意兩節點之間的關系，而不受拓撲結構的限制，識別準確率高；同時引入循環神經網絡，對拓撲圖序列的長期時間關系進行建模，解決了現有技術中存在的問題。

本發明的另一目的是，提供一種基于圖卷積網絡的人體行為識別方法系統。

本發明所采用的技術方案是，一種基于圖卷積網絡的人體行為識別方法，包括以下步驟：

S1，從包含人體行為的圖像中提取人體骨架信息，獲取人體關節點位置信息序列，以各關節點為節點，以關節點之間的骨骼為邊，構建人體骨架的任意長度拓撲圖序列；

S2，通過基于拓撲可學習圖卷積的時空圖卷積網絡對拓撲圖序列進行特征提取和拓撲結構的自適應演化，得到融合局部時空特征的節點新特征和具有新拓撲結構的拓撲圖序列；

S3，通過圖卷積長短期記憶神經網絡對新拓撲圖序列進行特征提取，得到具有長時時空特征的拓撲圖序列；

S4，利用全局池化操作對拓撲圖序列的特征進行進一步融合，得到全局時空特征；

S5，利用分類器基于全局時空特征進行人體行為識別。

進一步的，所述步驟S1中，人體骨架的拓撲圖序列由多個拓撲圖結構組成，拓撲圖結構用式(1-1)表示；

G＝(V,E)＝(f_v,w_E) (1-1)