[發明專利]一種基于圖卷積網絡的人體骨架行為識別方法

有效

• 申請號: 202010146319.0
• 申請日: 2020-03-05
• 公開（公告）號: CN111353447B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 曹江濤;趙挺;洪愷臨
• 申請（專利權）人: 遼寧石油化工大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/764;G06V10/82;G06N3/0442;G06N3/042;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 沈陽銘揚聯創知識產權代理事務所(普通合伙) 21241
• 代理人: 杜蕊

1.一種基于圖卷積網絡的人體骨架行為識別方法，其特征在于：所述識別方法包括獲取雙人交互骨架視頻；對獲取視頻的關節點坐標進行歸一化處理；構建人體關節內在依賴圖、個體外在依賴圖、交互依賴圖；為三種關節連接圖的連接邊分配不同的權重；送入圖卷積網絡中進行學習提取空間特征；基于每一幀得到的空間特征，送入長短時期記憶網絡中進行時序建模；得到交互行為類別的識別結果；

所述識別方法具體包括：

步驟S10，拍攝視頻：啟動攝像頭，錄制雙人交互視頻，收集不同動作執行人的各類交互動作的骨架視頻，作為交互動作的訓練視頻，并對各類訓練視頻進行交互行為含義標記，建立視頻訓練集；

步驟S20，對獲取的骨架視頻中預設的視頻幀并進行歸一化處理后作為待識別骨架序列；

步驟S30，對所述待識別骨架序列中每一幀圖，根據關節點坐標構建對應的人體關節內在依賴連接圖，關節點為圖的節點，關節點之間的自然連接為圖的內在依賴連接邊；構造單人各自的外在依賴連接邊與雙人的交互依賴連接邊，三者一起構成待識別骨架序列每一幀人體關節連接圖；

步驟S40，分別為所述待識別骨架序列每一幀圖對應的三種關節連接圖的邊分配權重，獲得對應的帶有不同權重值的人體關節連接圖；

步驟S50，對所述待識別骨架序列每一幀對應的帶有不同權重值的人體關節連接圖進行圖卷積操作，獲取待識別骨架序列的空間特征；

步驟S60，基于所述待識別骨架序列的空間特征，在時間維度上進行時序建模，獲得待識別骨架序列的行為類別；

所述步驟S30中“對所述待識別骨架序列中每一幀圖，根據關節點坐標構建對應的人體關節內在依賴連接圖，關節點為圖的節點，關節點之間的自然連接為圖的內在依賴連接邊；構造單人各自的外在依賴連接邊與雙人的交互依賴連接邊，三者一起構成待識別骨架序列每一幀人體關節連接圖”，其方法為：

將每一幀雙人交互視為一個整體構造一個G(x,W)圖，對每一幀進行人體建模，其中包含2N個關節的三維坐標，W為一個2N×2N加權鄰接矩陣:

(w_1,2)_mn＝γ,第一個人關節點m與第二個人關節點n

其中α,β,γ分別表示對應內在依賴關系、外在依賴關系和交互依賴關系的權值；

所述步驟S40中“分別為所述待識別骨架序列每一幀圖對應的三種關節連接圖的邊分配權重，獲得對應的帶有不同權重值的人體關節連接圖”，其方法為：

α＝3,β＝1,γ＝5以強調內部連接關系，附加外部連接關系，突出交互連接關系。

2.根據權利要求1所述的一種基于圖卷積網絡的人體骨架行為識別方法，其特征在于：所述步驟S20中“對獲取的骨架視頻中預設的視頻幀并進行歸一化處理后作為待識別骨架序列”，其方法為：

步驟S11，對獲取到的原始骨架視頻進行預設等間隔采樣作為訓練與識別骨架序列；

步驟S12，對獲得所述骨架序列中每一幀關節點坐標進行旋轉，平移以及尺度歸一化處理，獲得待識別骨架序列，具體方法為：

其中為原始獲取第t幀的第i個坐標值，J和T表示關節點和獲得幀的集合，為處理后的坐標值；

旋轉矩陣R和旋轉原點o_R定義為：

其中v₁和v₂是垂直于地面的矢量和每個序列中初始骨架的左髖關節和右髖關節的差矢量，Proj_v1(v₂)和v₁×v₂分別表示v₁和v₂上的向量投影和這兩個向量的外積，與表示各序列初始骨架的左髖關節和右髖關節的坐標。