[發明專利]一種基于深度學習模型的特定動作識別方法及系統

有效

• 申請號: 202010994285.0
• 申請日: 2020-09-21
• 公開（公告）號: CN112101255B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 趙毅;王一峰;李虹頤;汪洋
• 申請（專利權）人: 哈爾濱工業大學（深圳）
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/26;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 崔玥

1.一種基于深度學習模型的特定動作識別方法，其特征在于，包括：

獲取M組含有設定動作的初始訓練數據集；所述初始訓練數據集包括光學數據和慣性數據；所述光學數據和慣性數據幀對應；

在第m組所述初始訓練數據集中，根據所述光學數據得到設定動作的第一開始幀和第二終止幀；m∈M；

根據所述光學數據得到光學軌跡信息；

根據所述慣性數據得到慣性軌跡信息；

根據所述第一開始幀和所述第二終止幀對所述光學軌跡信息進行分割得到設定動作光學軌跡信息，對所述慣性軌跡信息進行分割得到設定動作慣性軌跡信息；

根據每一組的所述設定動作光學軌跡信息和所述設定動作慣性軌跡信息對動作識別模型進行訓練，基于樣條函數和訓練后的動作識別模型完成設定動作的識別；

所述根據每一組的所述設定動作光學軌跡信息和所述設定動作慣性軌跡信息對動作識別模型進行訓練，基于樣條函數和訓練后的動作識別模型完成設定動作的識別，包括：

根據每一組的所述設定動作光學軌跡信息和所述設定動作慣性軌跡信息對動作識別模型進行訓練；

基于訓練好的動作識別模型對設定動作進行識別，得到軌跡信息，進一步得到設定動作的初始開始幀、初始終止幀和設定動作窗口；

基于窗口擴大偏好模型對所述設定動作窗口進行擴大處理，得到擴大軌跡信息；

基于樣條函數和Frechet距離的方法根據所述擴大軌跡信息得到第二開始幀和第二終止幀；

根據所述第二開始幀和所述第二終止幀對所述擴大軌跡信息進行分割完成設定動作的識別。

2.根據權利要求1所述的一種基于深度學習模型的特定動作識別方法，其特征在于，所述根據所述光學數據得到光學軌跡信息，包括：

從所述光學數據中選取E幀圖像作為初始圖像；所述光學數據為在執行設定動作時，通過采集協同運動的設定數量的反光球得到的數據；

對第e幀所述初始圖像進行加標簽處理，得到標簽圖像；所述標簽包括每個反光球寬度、高度和球心的橫坐標、縱坐標；e∈E；

根據每一幀所述標簽圖像對光學卷神經網絡模型進行訓練；

通過訓練好的所述光學卷神經網絡模型對所述光學數據中的第h幀圖像進行特征提取，得到每個反光球的球心坐標；h∈H，H為光學數據的總幀數；

對第h幀圖像中每個反光球的球心坐標求平均值，得到所述光學軌跡信息。

3.根據權利要求2所述的一種基于深度學習模型的特定動作識別方法，其特征在于，在所述對第h幀圖像中每個反光球的球心坐標求平均值，得到所述光學軌跡信息之前，還包括：

采用三次樣條插值的方法對反光球的球心坐標中缺失的部分進行補足。

4.根據權利要求1所述的一種基于深度學習模型的特定動作識別方法，其特征在于，所述根據所述慣性數據得到慣性軌跡信息，包括：

根據所述慣性數據得到每一幀的四元數矩陣；

根據所述慣性數據和所述四元數矩陣得到每一幀的速度；

根據每一幀的速度得到每一幀的位移；

根據每一幀的位移得到所述慣性軌跡信息。