[發明專利]一種基于卷積神經網絡的高幀率3D體態識別方法

在審

• 申請號: 202010856917.7
• 申請日: 2020-08-24
• 公開（公告）號: CN112329513A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 孫旭;朱曉勇
• 申請（專利權）人: 蘇州荷露斯科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 徐曉鷺

本發明公開一種基于卷積神經網絡的高幀率3D體態識別方法，包括以下步驟：步驟一，終端獲取包含人體動作的視頻，建立視頻中場景以待識別人體為中心的方位坐標；步驟二，對于每一個已知的人體位置進行人體2D關鍵點檢測和動作識別；步驟三，基于視頻的時序信息，通過多幅圖像對比，離線的進行3D關鍵點檢測；步驟四，最后進行模型壓縮，以部署在手機上。本申請方法通過將卷積神經網絡等技術應用到手機移動端進行3D人體關鍵點識別，通過模型壓縮以及算法創新，將算法流暢的運行在算力不足的手機等設備上，運行幀率提高，實現了較好的識別效果。

技術領域

本技術所屬的技術領域為計算機軟件技術領域，具體為一種基于卷積神經網絡的高幀率手機3D體態識別方法。

背景技術

人體動作姿態判斷應用前景廣闊，目前市場上針對3D人體關鍵點識別的技術有很多，在互聯網高度發達的今天，由于人體關鍵點應用范圍十分廣泛，例如實現腿部拉長等操作，該技術已經成為眾多研究者的熱門研究領域，目前該的研究主要集中在利用有深度信息的攝像頭來進行人體關鍵點檢測。

動作姿態判斷一般流程是關節點定位，根據關節點定位數據判斷姿態。然而為了獲得較準確的姿態判斷，關節定位坐標往往需要是3D空間坐標。這不僅僅對采集設備提出較高要求，需要能獲得深度數據，還對計算的算力提出了較高要求，在實時轉錄應用中幾乎無法運行。業界流行的基于單目攝像頭的3D視覺動作捕捉算法在手機上運行幀率較低，用戶體驗較差，如業界知名項目OpenPose僅僅達到10FPS。

發明內容

本發明針對上述技術問題，通過將卷積神經網絡等技術應用到手機移動端進行3D人體關鍵點識別，通過模型壓縮以及算法創新，將算法流暢的運行在算力不足的手機等設備上，運行幀率提高，實現了較好的識別效果。

為了實現以上目的，本發明采用以下技術方案：

本發明為一種基于卷積神經網絡的高幀率3D體態識別方法，所述體態識別方法包括以下步驟：

步驟一，終端獲取包含人體動作的視頻，建立視頻中場景以待識別人體為中心的方位坐標；

步驟二，對于每一個已知的人體位置進行人體2D關鍵點檢測和動作識別；

步驟三，基于視頻的時序信息，通過多幅圖像對比，離線的進行3D關鍵點檢測；

步驟四，最后進行模型壓縮，以部署在手機上。

進一步的，所述步驟二具體為：

步驟2.1，通過卷積神經網絡對于出現在視頻中的人體進行特征點提取；

步驟2.2，對所述特征點提取結果進行邏輯回歸算法，得到人的關節點；

步驟2.3，根據中心點定位來去除掉對非識別對象的響應；

步驟2.4，最后通過重復地對預測出來的熱力圖進行微調，得到最終的結果，即2D關鍵點；

步驟2.5，對得到的2D關鍵點進行狀態空間搜索。基于人體工程學數據，2D關鍵點應該滿足人體工程學的一般骨骼長度和表現，根據人體工程學的一般數值來減小狀態空間搜索的范圍，使得在個體上對動作的判斷符合人體工程學的一般角度；

步驟2.6，上一步中的結果為一定的數值范圍。此時，對所有的數值范圍進行2D空間折角推算，再次進行人體工程學折角搜索，將數值范圍的折角控制在人體工程學合理的范圍內。最終，將結果所得折角以及長度歸類到特定的動作類型當中，確定人體基本姿勢。

進一步的，所述步驟三具體為：

步驟3.1，將視頻畫面相鄰幀的圖像特征向量的余弦距離進行對比，如果相鄰的視頻幀特征相差較多，則認為兩幅圖像差別過大，舍棄；如果相鄰的幀特征接近，則認為可以對相鄰幀進行3D關鍵點檢測識別；