[發明專利]一種基于openpose的人體姿態識別方法

有效

• 申請號: 202110060938.2
• 申請日: 2021-01-18
• 公開（公告）號: CN112800892B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 徐佳;王子沁;駱健;徐力杰;李賓;胡洋;蔣凌云;魯蔚鋒
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/52;G06V20/40;G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/74;G06V10/764
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于openpose的人體姿態識別方法，由openpose數據獲取、數據預處理、特征值構造、深度網絡訓練及動作判定、opencv繪圖組成人體姿態識別系統，識別方法包括如下步驟：步驟一：利用開源項目openpose獲取人在執行目標動作下的人體骨架數據幀序列；步驟二：從骨架數據中篩選出可以表征動作的主要關鍵點數據；步驟三：從篩選出的骨架關節點數據中提取、計算動作特征值并構造動作的特征向量序列；步驟四：對特征向量序列進行預處理；步驟五：將動作樣本集的特征向量序列保存下來作為標準動作模板；步驟六：實時采集動作特征序列給到預先訓練好的神經網絡；步驟七：從網絡獲取預測結果，并給出動作標準度。本發明實施簡便可靠，適用于實時的動作識別系統。

技術領域

本發明涉及模式識別和人機交互，尤其涉及一種基于openpose的人體姿態識別方法。

背景技術

近些年來，與計算機視覺相關的人機交互應用，如行為監控、電子游戲、醫療保健等越來越受到人們的青睞，而這些交互應用的關鍵技術在于如何使機器理解人體的動作，也即人體行為識別。現有基于骨架的行為識別方法可以大致分為兩類：基于關節點方法和基于身體部位方法。基于關節點方法把人體骨架視為一個點集，然后用點集中關節點的位置相關特征來描述骨架，這類特征包括關節點位置特征，成對的相對關節點位置特征，固定坐標系下的關節點方向特征等。而另一方面，基于身體部位方法將人體骨架視為一系列連接的剛體片段，使用如關節點角度特征，仿生三維特征，不同部位間三維幾何關系特征等表示人體三維骨架。這些研究工作結合幀內空間域特征和幀間時間域特征來表示人體骨架序列，但都忽視了不同姿態和關節點的權重變化關系，使得特征表示存在冗余，因為并不是所有的關節點和姿態都擁有相同的重要性，那些重要的關節點和姿態在決定行為所屬類別時應該占有更大的比重。如何克服現有技術所存在的不足已成為模式識別和人機交互技術領域中亟待解決的重點難題之一。

發明內容

發明目的：本發明的目的是提供一種基于openpose的動作識別方法，該方法穩定可靠，能抵御環境干擾，適用于實時的動作識別系統。

技術方案：一種基于openpose的人體姿態識別方法，由openpose數據獲取、數據預處理、特征值構造、深度網絡訓練及動作判定、opencv繪圖共五個模塊組成人體姿態識別系統，該系統的識別方法包括如下步驟：

步驟一：通過openpose數據獲取模塊，從openpose提供的接口WrapperPython獲取人在執行目標動作下的連續骨架數據幀序列：openpose是指卡耐基梅隆大學開發的能夠獲取人體骨架各個關節點的空間信息和位置信息的開源系統，人體骨架數據是指該項目所提供的人體關節點數據；

步驟二：通過數據預處理模塊，從骨架數據中篩選出可以表征動作的主要關鍵點數據：表征動作的主要關鍵點數據是指對動作識別起關鍵作用的關節點數據；若是對手勢動作的檢測識別，可以選取上肢的關節點數據：包括右手關節點、右手腕關節點、右肩關節點、左手關節點、左手腕關節點、左肩關節點等，其他動作以此類推；

步驟三：通過特征值構造模塊，從篩選出的骨架關節點數據中提取、計算動作特征值并構造動作的特征向量序列：動作特征包括關節點位置、角度；特征向量序列是指由特征值組成的特征向量并構成的序列；

步驟四：對特征向量序列進行預處理：的預處理是指對特征向量中關節點的坐標做歸一化處理；

步驟五：通過深度網絡訓練及動作判定模塊，將動作樣本集的特征向量序列保存下來作為標準動作模板,用于標準度的計算；

步驟六：實時采集動作特征序列給到預先訓練好的神經網絡：預先訓練好的神經網絡，是基于keras搭建的七層網絡結構，其中三層relu激活層，三層BatchNormalization層，最后一層softmax輸出層；