[發明專利]一種基于卷積神經網絡的高幀率3D體態識別方法

在審

• 申請號: 202010856917.7
• 申請日: 2020-08-24
• 公開（公告）號: CN112329513A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 孫旭;朱曉勇
• 申請（專利權）人: 蘇州荷露斯科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 徐曉鷺

1.一種基于卷積神經網絡的高幀率3D體態識別方法，其特征在于，所述體態識別方法包括以下步驟：

步驟一，終端獲取包含人體動作的視頻，建立視頻中場景以待識別人體為中心的方位坐標；

步驟二，對于每一個已知的人體位置進行人體2D關鍵點檢測和動作識別；

步驟三，基于視頻的時序信息，通過多幅圖像對比，離線的進行3D關鍵點檢測；

步驟四，最后進行模型壓縮，以部署在手機上。

2.根據權利要求1所述的一種基于卷積神經網絡的高幀率3D體態識別方法，其特征在于，所述步驟二具體為：

步驟2.1，通過卷積神經網絡對于出現在視頻中的人體進行特征點提取；

步驟2.2，對所述特征點提取結果進行邏輯回歸算法，得到人的關節點；

步驟2.3，根據中心點定位來去除掉對非識別對象的響應；

步驟2.4，最后通過重復地對預測出來的熱力圖進行微調，得到最終的結果，即2D關鍵點；

步驟2.5，對得到的2D關鍵點進行狀態空間搜索，基于人體工程學數據，2D關鍵點應該滿足人體工程學的一般骨骼長度和表現，根據人體工程學的一般數值來減小狀態空間搜索的范圍，使得在個體上對動作的判斷符合人體工程學的一般角度；

步驟2.6，上一步中的結果為一定的數值范圍；此時，對所有的數值范圍進行2D空間折角推算，再次進行人體工程學折角搜索，將數值范圍的折角控制在人體工程學合理的范圍內；

最終，將結果所得折角以及長度歸類到特定的動作類型當中，確定人體基本姿勢。

3.根據權利要求1所述的一種基于卷積神經網絡的高幀率3D體態識別方法，其特征在于，所述步驟三具體為：

步驟3.1，將視頻畫面相鄰幀的圖像特征向量的余弦距離進行對比，如果相鄰的視頻幀特征相差較多，則認為兩幅圖像差別過大，舍棄；如果相鄰的幀特征接近，則認為可以對相鄰幀進行3D關鍵點檢測識別；

步驟3.2，通過對相鄰的若干幀實施3D關鍵點識別算法，將2D關鍵點信息以及3D真實值進行比對，并且將差值記錄下來；

步驟3.3，對步驟3.2中的差值使用梯度下降的方法進行優化，將2D關鍵點信息和3D真實值之間的差別縮小。

4.根據權利要求3所述的一種基于卷積神經網絡的高幀率3D體態識別方法，其特征在于，所述步驟3.2中，所述的3D關鍵點識別算法是將步驟2.4中得到的2D關鍵點采用隨機森林算法進行3D化后，得到視頻畫面中的3D關鍵點信息。

5.根據權利要求1所述的一種基于卷積神經網絡的高幀率3D體態識別方法，其特征在于，所述體態識別方法還包括步驟五，通過人體工程學的方法對檢測出來的3D關鍵點進行優化。

6.根據權利要求5所述的一種基于卷積神經網絡的高幀率3D體態識別方法，其特征在于，所述步驟五具體為：

步驟5.1，標注攝像頭和被測人的夾角，記做A；

步驟5.2，對得到的3D關鍵點進行狀態空間搜索，基于人體工程學數據，3D關鍵點應該滿足人體工程學的一般骨骼長度和表現；根據人體工程學的一般數值來減小狀態空間搜索的范圍，并結合A夾角進一步減小狀態空間搜索的范圍，使得在個體上對動作的判斷符合人體工程學的一般角度；

步驟5.3，根據人體工程學數據，結合夾角A的實際值來推算3D關鍵點的空間折角；

所述人體工程學數據包括于肢體可以運動的范圍，以及肢體一般最傾向的運動方式；將搜索空間中最傾向的角度與已分類動作進行對比，進行動作分類。

7.根據權利要求6所述的一種基于卷積神經網絡的高幀率3D體態識別方法，其特征在于，所述肢體可以運動的范圍包括手肘、膝蓋、髖骨、腳踝、手腕、頸部、肩膀從完全伸展到完全彎曲的可能角度范圍；所述肢體一般最傾向的運動方式指給定肢體的3D空間坐標，該坐標位置最舒適體式的空間坐標是唯一的。

8.根據權利要求3所述的一種基于卷積神經網絡的高幀率3D體態識別方法，其特征在于，所述步驟3.1中，如果余弦距離大于或等于設定的閾值，則認為相鄰的視頻幀特征相差較多，兩幅圖像差別過大，舍棄；如果余弦距離小于設定閾值，則認為相鄰的幀特征接近。