[發明專利]一種基于動作捕捉的動作指導方法和裝置

有效

• 申請號: 201910184701.8
• 申請日: 2019-03-12
• 公開（公告）號: CN110045823B
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 張子聰;戚盼;王志遠;劉芷辰;黃穎;高英;陳青云
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 李翔

1.一種基于動作捕捉的動作指導方法，其特征在于，所述方法包括下述步驟：

獲取標準動作圖像及用戶動作圖像；

預處理所述標準動作圖像和所述用戶動作圖像，識別標準動作姿勢以及用戶動作姿勢，并輸出所述標準動作圖像和所述用戶動作圖像中人體各關鍵點及其二維坐標的數字信號；

分析所述人體各關鍵點的二維坐標的數字信號，識別標準動作圖像和用戶動作圖像中人體的肢體長度及肢體夾角，對所述用戶動作圖像進行歸一化處理，在保持所述用戶動作圖像中的各肢體夾角恒定的條件下，將用戶動作圖像中的肢體長度進行等比例縮放，使所述用戶動作圖像的肢體長度與標準動作圖像相適配，輸出調整后的用戶動作圖像中人體各關鍵點的二維坐標的數字信號，并標識出標準動作圖像和調整后的用戶動作圖像中人體各關節點及各關節點的二維坐標的數字信號；

分別將所述的標準動作圖像和調整后的用戶動作圖像中人體各關節點根據所述二維坐標的數字信號有序連線，分別得到適用于所述標準動作圖像的第一人體骨骼模型和適用于所述調整后的用戶動作圖像的第二人體骨骼模型，并分別將所述標準動作圖像中人體各關鍵點的二維坐標的數字信號與所述第一人體骨骼模型對應、所述調整后的用戶動作圖像中人體各關鍵點的二維坐標的數字信號與所述第二人體骨骼模型對應；

對比第一骨骼模型的動作和第二骨骼模型的動作中各肢體間的夾角，以判斷用戶的動作與標準的動作是否在誤差范圍內；若用戶的動作與標準的動作偏差超過閾值，則提醒用戶朝減少誤差的方向調整動作。

2.根據權利要求1所述的基于動作捕捉的動作指導方法，其特征在于，所述對比第一骨骼模型的動作和所述第二骨骼模型的動作中各肢體間的夾角的步驟包括：

根據所述第一骨骼模型和所述第二骨骼模型中人體各關鍵點的二維坐標，計算出各肢體間的夾角；

依次計算相同肢體夾角之間的誤差，當出現誤差超過閾值的夾角時，中斷下一夾角的對比，并提醒用戶朝減少誤差的方向調整動作，直至夾角的誤差符合閾值；

當誤差符合閾值時，則繼續進行下一夾角的對比，直至所有夾角都符合閾值，則終止對比。

3.根據權利要求1所述的基于動作捕捉的動作指導方法，其特征在于，所述對所述用戶動作圖像進行歸一化處理包括：

在保持用戶動作圖像中的各肢體夾角恒定的條件下，將用戶動作圖像中的肢體長度進行等比例縮放，使得用戶動作圖像與標準動作圖像中的人體保持軀干身長一致。

4.根據權利要求1所述的基于動作捕捉的動作指導方法，其特征在于，所述標識出標準動作圖像和調整后的用戶動作圖像中人體各關節點及各關節點的二維坐標的數字信號包括：

分別將所述標準動作圖像和所述調整后的用戶動作圖像中的所述人體各關鍵點按照人體的拓撲關系進行擬合，并將擬合度最高的結果作為最終輸出的識別結果，從而標識出各關節點，并根據所述各關鍵點的二維坐標的數字信號輸出所述各關節點的二維坐標的數字信號。

5.根據權利要求1所述的基于動作捕捉的動作指導方法，其特征在于，所述預處理所述標準動作圖像和所述用戶動作圖像包括：

通過深度學習網絡分別提取所述標準動作圖像和所述用戶動作圖像的特征，檢測出人體的各關鍵點，將不同位置的各個關鍵點進行聚類處理，確定動作姿勢，通過各關鍵點的相對位置信息，定位各關鍵點的二維坐標方位，并轉換為二維坐標的數字信號。

6.根據權利要求1所述的基于動作捕捉的動作指導方法，其特征在于，所述獲取標準動作圖像及用戶動作圖像包括：

讀取預設的或用戶輸入的教程文件，得到標準動作圖像；

拍攝用戶的動作，得到用戶動作圖像。

7.根據權利要求1所述的基于動作捕捉的動作指導方法，其特征在于，所述提醒用戶朝減少誤差的方向調整動作包括：

在第一人體骨骼模型和第二人體骨骼模型上對應的關鍵點進行突出顯示，和/或進行語音提示。