[發明專利]一種基于關鍵點檢測的多人行為識別系統及工作方法

有效

• 申請號: 201911257342.0
• 申請日: 2019-12-10
• 公開（公告）號: CN110929687B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 許宏吉;李夢荷;趙文杰;張貝貝;石磊鑫
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/46;G06V10/30
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

1.一種基于關鍵點檢測的多人行為識別系統，其特征在于，包括：

圖像預處理模塊，被配置為對采集到的圖像進行預處理；

關鍵點檢測模塊，被配置為提取每幀圖像的關鍵點特征；通過關鍵點預測矩陣，判斷圖像中包含人體的個數以及每個人包含的骨骼關鍵點數；

檢測兩相鄰骨骼關鍵點是否在同一肢體上，對同一個人任意相鄰的兩個骨骼關鍵點間進行連接獲取方向向量，依次連接同一肢體上的骨骼關鍵點，得到骨骼關鍵點向量矩陣；

姿態估計模塊，被配置為用于根據骨骼關鍵點向量矩陣進行姿態判斷；二次特征提取模塊，被配置為用于對預處理后的圖像進行二次特征提取，得到行為特征矩陣；

所述關鍵點檢測模塊具體包括：

關鍵點特征提取單元，被配置為提取每幀圖像的關鍵點特征；具體地，對每幀圖像進行SIFT和SURF關鍵點的特征提取，得到關鍵點特征矩陣；

所述骨骼關鍵點向量矩陣的構建具體包括；取當前圖像幀中關鍵點預測矩陣中的第n個人的任意兩個關鍵點X_k1,n，x_k2,n，連接兩個關鍵點并取關鍵點x_k1,n指向關鍵點x_k2,n的方向向量v；

檢測這兩個骨骼關鍵點方向向量是否在某肢體上，若v在c上說明這兩個骨骼關鍵點在同一肢體上，可進行連接，若不在則舍棄，c表示第n個人的第c種肢體；

兩兩骨骼關鍵點之間的方向向量檢測完成后，滿足條件的兩骨骼關鍵點之間可進行連接，形成完整的人體骨架結構，并得到骨骼關鍵點向量矩陣。

2.如權利要求1所述的一種基于關鍵點檢測的多人行為識別系統，其特征在于，還包括：

行為估計與應用模塊，被配置為根據關鍵點預測矩陣、骨骼關鍵點向量矩陣以及行為特征矩陣，利用神經網絡模型進行預測，得到圖像中每個人的行為以及所述行為的識別率。

3.如權利要求1所述的一種基于關鍵點檢測的多人行為識別系統，其特征在于，所述關鍵點檢測模塊還包括：

關鍵點匹配單元，被配置為通過關鍵點預測矩陣，判斷圖像中包含人體的個數以及每個人包含的骨骼關鍵點數；

骨骼關鍵點向量檢測單元，被配置為檢測兩相鄰骨骼關鍵點是否在同一肢體上，對同一個人任意相鄰的兩個骨骼關鍵點間進行連接獲取方向向量，依次連接同一肢體上的骨骼關鍵點，得到骨骼關鍵點向量矩陣。

4.一種基于關鍵點檢測的多人行為識別工作方法，其特征在于，包括：

對預處理后的每幀圖像進行SIFT和SURF關鍵點的特征提取，得到關鍵點特征矩陣；

求取關鍵點預測矩陣，判斷圖像中包含人體的個數以及每個人包含的骨骼關鍵點數；

檢測兩相鄰骨骼關鍵點是否在同一肢體上，對同一個人任意相鄰的兩個骨骼關鍵點間進行連接獲取方向向量，依次連接同一肢體上的骨骼關鍵點，得到骨骼關鍵點向量矩陣；

根據骨骼關鍵點向量矩陣的方向和角度判斷當前圖像幀中不同人的姿態；

對預處理后的圖像進行二次特征提取，得到行為特征矩陣；

所述骨骼關鍵點向量矩陣的構建具體包括；取當前圖像幀中關鍵點預測矩陣中的第n個人的任意兩個關鍵點x_k1,n，x_k2,n，連接兩個關鍵點并取關鍵點x_k1,n指向關鍵點x_k2,n的方向向量v；

檢測這兩個骨骼關鍵點方向向量是否在某肢體上，若v在c上說明這兩個骨骼關鍵點在同一肢體上，可進行連接，若不在則舍棄，c表示第n個人的第c種肢體；

兩兩骨骼關鍵點之間的方向向量檢測完成后，滿足條件的兩骨骼關鍵點之間可進行連接，形成完整的人體骨架結構，并得到骨骼關鍵點向量矩陣。

5.如權利要求4所述的一種基于關鍵點檢測的多人行為識別工作方法，其特征在于，在對預處理后的圖像進行二次特征提取，得到行為特征矩陣之后，還包括：

根據關鍵點預測矩陣、骨骼關鍵點向量矩陣以及行為特征矩陣，利用神經網絡模型進行預測，得到圖像中每個人的行為以及所述行為的識別率。