[發明專利]一種基于三維人體骨架的人體基本動作實時識別方法

有效

• 申請號: 201810916374.6
• 申請日: 2018-08-13
• 公開（公告）號: CN109344694B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 寧小娟;王映輝;李天陽;李建明
• 申請（專利權）人: 西安理工大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06F3/01
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 韓玙

1.一種基于三維人體骨架的人體動作實時識別方法，其特征在于，具體按照下述方法進行：

步驟1，確定Kinect的安置角度；

步驟2，根據三維人體骨架定義人體基本動作，得到多個定義動作；具體按照下述步驟進行：

步驟2.1，使用Kinect對人體基本動作進行三維人體骨架追蹤，得到人體深度視頻和骨骼視頻，將所述人體深度視頻分解為多幀人體深度圖像，所述骨骼視頻分解為多幀骨骼圖像；然后將相應的人體深度圖像和骨骼圖像融合，得到多幀融合圖像；

步驟2.2，提取每幀所述融合圖像中的骨骼特征，提取骨骼特征中的關節點位置特征、空間位置特征和關節角度特征，然后定義人體基本動作，得到多個定義動作；具體按照下述方法定義人體基本動作：

①抬左手/抬右手

右手關節點F₁₀的Y軸坐標大于髖中心關節點F₀的Y軸坐標即為抬右手動作；

左手關節點F₁₁的Y軸坐標大于髖中心關節點F₀的Y軸坐標即為抬左手動作；

②原地踏步

分別計算左膝關節點F₅、右膝關節點F₆在多幀融合圖像中Y軸方向上的累積距離：

其中,y_L為左膝關節點F₅在多幀融合圖像中Y軸方向上的累積距離，y_R為右膝關節點F₆在多幀融合圖像中Y軸方向上的累積距離，y_kL表示第k幀融合圖像中左膝關節點F₅的Y軸坐標，y_kR表示第k幀融合圖像中右膝關節點F₆的Y軸坐標；

計算左膝關節點F₅、右膝關節點F₆在多幀融合圖像中Y軸方向上的距離和disY：

disY＝y_L+y_R (14)

計算相鄰的兩幀融合圖像中髖中心關節點的距離：

多幀融合圖像中髖中心關節點的累計距離為：

若：

disY1.6 (17)

accDistance0.8 (18)

則定義該動作為原地踏步；

③抬左腿/抬右腿

若左膝關節點F₅和右膝關節點F₆的坐標滿足：

y_KR-y_KL≥0.18 (19)

則該動作為抬右腿動作，y_KR為左膝關節F₅的Y軸坐標，y_KL為右膝關節點F₆的Y軸坐標；

若左膝關節點F₅和右膝關節點F₆的坐標滿足：

y_KL-y_KR≥0.18 (20)

則該動作為抬左腿動作；

④彎腰

若融合圖像中髖中心關節點和脊柱關節點的坐標滿足：

|z_SB-z_SM|0.2 (21)

則該動作為彎腰動作，其中z_SB為髖中心關節點Z軸的坐標值，z_SM為脊柱關節點Z軸的坐標值；

⑤晃頭

計算融合圖像中頭部關節點F₁₉、脊柱關節點F₉和右肩關節F₁₆組成的關節夾角的余弦值cosSR：

其中，DisHSS為頭部關節點F₁₉與脊柱關節點F₉之間的歐式距離，DisSSSR為脊柱關節點F₉與右肩關節F₁₆之間的歐氏距離，DisHSR為頭部關節點F₁₉與右肩關節F₁₆之間的歐氏距離；

計算融合圖像中頭部關節點F₁₉、脊柱關節點F₉和左肩關節點F₁₇組成的關節夾角的余弦值：

其中，DisSSSL為脊柱關節點F₉與左肩關節點F₁₇之間的歐氏距離，DisHSL為頭部關節點F₁₉與左肩關節點F₁₇之間的歐氏距離；

若：

0.17cosSR0.98 (24)

且

0.17cosSL0.98 (25)

則該動作為晃頭動作；

⑥行走

相鄰的兩幀融合圖像中髖中心關節點F₀在XZ平面上的距離disXZ為：

其中，x_k為第k幀融合圖像中髖中心關節點F₀的X軸坐標，z_k為第k幀融合圖像中髖中心關節點F₀的Z軸坐標；

則在多幀融合圖像中髖中心關節點在XZ平面上的該累積距離accdisXZ為：

若髖中心關節點在XZ平面上的該累積距離滿足：

accdisXZ0.6 (28)

則該動作為行走動作；

⑦左側下腰/右側下腰

若髖中心關節點的坐標和脊柱關節點的坐標滿足：

|x_SB-x_SM|≥0.15 (29)

x_SB-x_SM0 (30)

則該動作為左側下腰動作，其中x_SB為髖中心關節點X軸上的坐標，

x_SM為脊柱關節點X軸上的坐標；

若髖中心關節點的坐標和脊柱關節點的坐標滿足：

|x_SB-x_SM|≥0.15 (31)

x_SB-x_SM0 (39)

則該動作為右側下腰動作；

⑧左移/右移

計算多幀融合圖像中脊柱關節點在X軸上的累計距離disMove：

若多幀融合圖像中脊柱關節點在X軸上的累計距離滿足：

disMove0.4 (40)

則該動作為右移動作；

若多幀融合圖像中脊柱關節點在X軸上的累計距離滿足：

disMove-0.4 (41)

則該動作為左移動作；

⑨上跳

計算多幀融合圖像中左腳關節點F₁和右腳關節點F₂在Y軸方向累計距離，若多幀融合圖像中左腳關節點F₁和右腳關節點F₂的累計距離均大于0.12，則該動作為上跳動作；

步驟3，利用Kinect獲取待識別人體動作，獲取待識別人體動作的動作特征，將待識別人體動作與定義動作進行特征匹配，進行待識別人體動作的識別。