[發明專利]一種基于人體骨骼三維數據的動作識別方法、設備、介質

在審

• 申請號: 202310055681.0
• 申請日: 2023-01-18
• 公開（公告）號: CN116052278A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 趙伊男;周健;陳彩霞
• 申請（專利權）人: 同濟大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/64;G06V10/80;G06N20/00
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

1.一種基于人體骨骼三維數據的動作識別方法，其特征在于，包括如下步驟：

獲取實時人體骨骼三維姿態數據，轉換為預設格式后輸入預訓練好的動作識別模型中，獲取人體動作識別結果，

其中，所述的動作識別模型包括：

多特征輸入模塊，用于基于轉換為預設格式后的人體骨骼三維姿態數據，獲取包括笛卡爾運動信息、全局聯合尺寸信息以及全局聯合角度信息的綜合特征；

特征融合及輸出模塊，用于基于所述綜合特征獲取所述人體動作識別結果。

2.根據權利要求1所述的一種基于人體骨骼三維數據的動作識別方法，其特征在于，所述的笛卡爾運動信息的獲取包括如下步驟：

基于轉換為預設格式的人體骨骼三維姿態數據，獲取骨骼特征序列；

基于所述骨骼特征序列，獲取慢速運動特征；

通過下采樣對所述骨骼特征序列進行擴充，基于擴充后的序列獲取快速運動特征；

基于所述慢速運動特征及所述快速運動特征，獲取所述笛卡爾運動信息。

3.根據權利要求2所述的一種基于人體骨骼三維數據的動作識別方法，其特征在于，所述的慢速運動特征采用下式獲取：

式中，v_s(k)表示慢速動作在第k時刻的速度，表示第k時刻慢速動作對時間的導數或差分，

所述的快速運動特征采用下式獲取：

式中，v_f(k)為快速動作在第k時刻的速度，p_f(k)表示第k時刻的位置，表示第k時刻快速動作對時間的導數或差分，2k±1表示取奇數幀。

4.根據權利要求1所述的一種基于人體骨骼三維數據的動作識別方法，其特征在于，所述的全局聯合尺寸信息的獲取包括如下步驟：

基于轉換為預設格式的人體骨骼三維姿態數據，獲取全局骨骼點信息；

基于各個全局骨骼點之間的歐氏距離，獲取所述全局聯合尺寸信息。

5.根據權利要求4所述的一種基于人體骨骼三維數據的動作識別方法，其特征在于，所述的各個全局骨骼點之間的歐氏距離采用下式獲取：

其中，v_ij和d^ij分別表示節點i和節點j所構成的向量和歐式距離。

6.根據權利要求1所述的一種基于人體骨骼三維數據的動作識別方法，其特征在于，所述的全局聯合角度信息的獲取包括如下步驟：

基于轉換為預設格式的人體骨骼三維姿態數據，獲取全局骨骼點信息；

基于每個全局骨骼點與其余任兩個點之間的夾角，獲取所述全局聯合角度信息。

7.根據權利要求6所述的一種基于人體骨骼三維數據的動作識別方法，其特征在于，所述的全局聯合角度信息采用下式獲取：

式中，v_ij表示節點i和節點j構成的向量，θ^ijk表示由節點i，節點j和節點k三個節點構成的夾角。

8.根據權利要求1所述的一種基于人體骨骼三維數據的動作識別方法，其特征在于，所述的人體骨骼三維姿態數據的獲取包括如下步驟：

獲取人體的實時RGB-D數據，基于MediaPipe算法獲取所述人體骨骼三維姿態數據。

9.一種電子設備，其特征在于，包括：一個或多個處理器以及存儲器，所述存儲器內儲存有一個或多個程序，所述一個或多個程序包括用于執行如權利要求1-8任一所述基于人體骨骼三維數據的動作識別方法的指令。

10.一種計算機可讀存儲介質，其特征在于，包括供電子設備的一個或多個處理器執行的一個或多個程序，所述一個或多個程序包括用于執行如權利要求1-8任一所述基于人體骨骼三維數據的動作識別方法的指令。