[發明專利]采用循環神經網絡依據骨骼形態判斷的人體動作檢測方法

在審

• 申請號: 202110541840.9
• 申請日: 2021-05-18
• 公開（公告）號: CN113205060A
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 余鋒;劉智賢;姜明華;周昌龍
• 申請（專利權）人: 武漢紡織大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢維盾知識產權代理事務所(普通合伙) 42244
• 代理人: 彭永念

1.采用循環神經網絡依據骨骼形態判斷的人體動作檢測方法，其特征在于，包括以下步驟，

步驟1：根據目標檢測需要，采集視頻圖像，判斷圖像中是否存在目標，若存在目標，則執行步驟2，否則重復執行步驟1；

步驟2：從視頻圖像中提取關鍵幀；

步驟3：根據關鍵幀對目標進行姿態估計，得到全身骨骼形態以及骨骼節點集；

步驟4：對骨骼節點集進行分區、分類，分別確定骨骼節點的權值，得到身體部位骨骼形態；

步驟5：采用圖卷積神經網絡將身體部位的骨骼形態和全身骨骼形態進行特征融合；

步驟6：將步驟5得到的融合特征輸入循環神經網絡，融合前后時刻的時序信息；

步驟7：將循環神經網絡輸出的圖像特征輸入分類器，得到當前時刻的動作分類結果。

2.根據權利要求1所述的采用循環神經網絡依據骨骼形態判斷的人體動作檢測方法，其特征在于，步驟1包括以下子步驟：

步驟1.1：利用廣角攝像機拍攝視頻，從視頻流截取獲得原始圖像樣本；

步驟1.2：原始圖像樣本作為目標檢測網絡的輸入，通過卷積操作得到圖像的特征，判斷圖像中是否有人物存在，若有人物存在，則執行步驟2；否則執行步驟1.1。

3.根據權利要求2所述的采用循環神經網絡依據骨骼形態判斷的人體動作檢測方法，其特征在于，步驟4中，所述對骨骼節點進行分區，將骨骼節點劃分為頭部節點、軀干節點、左臂節點、右臂節點、左腿節點和右腿節點。

4.根據權利要求3所述的采用循環神經網絡依據骨骼形態判斷的人體動作檢測方法，其特征在于，步驟3得到骨骼節點集G(N_i, A)，N_i表示骨骼節點，A表示骨骼節點的鄰接矩陣，鄰接矩陣保存骨骼節點之間的連接關系。

5.根據權利要求4所述的采用循環神經網絡依據骨骼形態判斷的人體動作檢測方法，其特征在于，采用注意力增強的方式，以突出對目標檢測結果影響大的骨骼節點的作用，具體包括：1）對不同身體部位的骨骼節點賦予不同的權值，增大動作幅度大的骨骼節點的權值；2）訓練過程中，通過鄰接矩陣的先驗矩陣對具有連接關系的骨骼節點賦予差異化的權值，并對不連接但是因動作變化而有關聯關系的骨骼節點賦予相應的權值。

6.根據權利要求5所述的采用循環神經網絡依據骨骼形態判斷的人體動作檢測方法，其特征在于，步驟4包括以下子步驟：

步驟4.1：對骨骼節點進行分區；

步驟4.2：根據骨骼節點活動能力，將骨骼節點分為重心節點、臨近重心節點和普通節點3類；

步驟4.3：分別對重心節點、臨近重心節點和普通節點賦予不同的權值。