[發明專利]基于圖卷積網絡的人體骨架行為識別方法、系統、裝置

有效

• 申請號: 201910446596.0
• 申請日: 2019-05-27
• 公開（公告）號: CN110222611B
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 原春鋒;呂紅杰;李兵;段運強;胡衛明;劉雨帆
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于圖卷積網絡的人體骨架行為識別方法，其特征在于，該識別方法包括：

步驟S10，獲取骨架視頻中預設的視頻幀并進行歸一化處理后作為待識別骨架序列；

步驟S20，對所述待識別骨架序列中每一幀圖，根據關節點坐標構建對應的人體關節自然連接圖，關節點為圖的節點，關節點之間的自然連接為圖的自然連接邊；所述人體關節自然連接圖為其中，x是代表人體關節自然連接圖的N個節點的c維坐標值的維度為N×c的矩陣，為待識別骨架序列圖像幀之間人體關節自然連接圖的鄰接矩陣；

步驟S30，基于所述人體關節自然連接圖的自然連接邊，計算所述待識別骨架序列中每一幀圖中預設關節點之間的距離，以所述待識別骨架序列第一幀圖中預設關節點之間的距離為初始值，依次計算相鄰兩幀間對應預設關節點之間距離的相對變化值，將所述相對變化值低于預設閾值的預設關節點進行連接，作為待識別骨架序列圖像幀之間非自然連接邊的鄰接矩陣W₁^T,W₁^T∈R^N×N：

其中，W₁^T的維度為N×N，T為待識別骨架序列中圖像幀數；

將所述人體關節自然連接圖的鄰接矩陣與所述非自然連接邊的鄰接矩陣進行求和，得到各人體關節連接圖的鄰接矩陣W以及相應的人體關節連接圖G(x,W^T)；

步驟S40，分別為所述待識別骨架序列每一幀圖對應的人體關節連接圖的各條邊分配預設的權重值，獲得對應的帶有不同權重值的人體關節連接圖；

步驟S50，對所述待識別骨架序列每一幀圖對應的帶有不同權重值的人體關節連接圖進行圖卷積操作，獲取待識別骨架序列的空間信息；

步驟S60，基于所述待識別骨架序列的空間信息，在時間維度上進行卷積操作，獲得待識別骨架序列的行為類別。

2.根據權利要求1所述的基于圖卷積網絡的人體骨架行為識別方法，其特征在于，步驟S10中“獲取骨架視頻中預設的視頻幀并進行歸一化處理后作為待識別骨架序列”，其方法為：

步驟S11，對所述骨架視頻進行預設間隔的均勻采樣，獲得預設幀數的骨架序列；

步驟S12，對所述預設幀數的骨架序列中每一幀關節點坐標值進行歸一化處理，獲得待識別骨架序列。

3.根據權利要求1所述的基于圖卷積網絡的人體骨架行為識別方法，其特征在于，所述人體關節自然連接圖的鄰接矩陣其公式表示為：

其中，的維度為N×N，T為待識別骨架序列中圖像幀數。

4.根據權利要求1所述的基于圖卷積網絡的人體骨架行為識別方法，其特征在于，步驟S40中“分別為所述待識別骨架序列每一幀圖對應的人體關節連接圖的各條邊分配預設的權重值，獲得對應的帶有不同權重值的人體關節連接圖”，其方法為：

步驟S41，構建權重矩陣，并對矩陣中所有元素賦值；

步驟S42，將所述賦值后的權重矩陣與人體關節連接圖的鄰接矩陣對應元素相乘，獲得對應的帶有不同權重值的人體關節連接圖。

5.根據權利要求1所述的基于圖卷積網絡的人體骨架行為識別方法，其特征在于，步驟S50中“對所述待識別骨架序列每一幀圖對應的帶有不同權重值的人體關節連接圖進行圖卷積操作，獲取待識別骨架序列的空間信息”，其方法為：

其中，*代表圖卷積操作；代表圖卷積核；x是維度為N×c的矩陣，代表人體關節自然連接圖的N個節點的c維坐標值；W為人體關節連接圖的鄰接矩陣。