[發明專利]基于深度學習的無標志點上肢運動分析方法及系統

有效

• 申請號: 202010143073.1
• 申請日: 2020-03-04
• 公開（公告）號: CN111369626B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 劉東威
• 申請（專利權）人: 劉東威
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/579;G06V40/20;G06N3/0442;G06N3/0464;G06N3/08
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 葛鐘

1.一種基于深度學習的無標志點上肢運動分析方法，其特征在于，包括：

獲取使用者在做上肢功能運動時的圖像和深度信息；

基于所述圖像和深度信息進行逆運動學計算處理，得到上肢運動角度數據；

應用預先訓練好的深度學習模型，對所述上肢運動角度數據進行修正，以得到最終的上肢運動學參數；

其中，

預先進行如下步驟，以得到訓練好的深度學習模型：

在受試者進行上肢功能運動任務時，

應用三維運動捕捉分析系統進行運動數據采集及分析，得到第一上肢運動參數數據，

同時應用深度傳感器進行運動數據采集并基于采集到的數據進行處理，

得到第二上肢運動參數數據；

基于所述第一上肢運動參數數據和第二上肢運動參數數據構建數據集；

基于所述數據集對深度學習模型進行迭代訓練，調整優化模型參數，以得到訓練好的深度學習模型；

所述深度傳感器為Kinect系統傳感器，所述應用深度傳感器進行運動數據采集并基于采集到的數據進行處理，得到第二上肢運動參數數據，具體為：

采集受試者運動時人體骨架模型節點的三維空間坐標數據；

應用逆運動學算法，基于預先構建的軀干坐標系與上臂坐標系之間的轉移矩陣，以及所述三維空間坐標數據計算得到所述第二上肢運動參數數據；

其中，所述第二上肢運動參數數據包括肩關節屈/伸角度、肩關節內收/外展角度、肩關節內旋/外旋角度，以及肘關節屈/伸角度。

2.根據權利要求1所述的無標志點上肢運動分析方法，其特征在于，所述基于所述數據集對深度學習模型進行迭代訓練，調整優化模型參數，具體包括：

對數據集中的數據進行標準化，基于標準化后的訓練數據對模型進行迭代訓練；其中，在每次迭代訓練中，

以深度傳感器對應的訓練數據作為模型輸入數據，計算模型輸出數據與三維運動捕捉分析系統對應的訓練數據之間的均方誤差，根據所述均方誤差，采用Adam方法對模型參數進行調整。

3.根據權利要求2所述的無標志點上肢運動分析方法，其特征在于，所述深度學習模型采用預定層數的LSTM網絡架構；

模型中每一個LSTM細胞包含預定個數神經單元，模型輸入及模型輸出為預定步數時間序列。

4.根據權利要求3所述的無標志點上肢運動分析方法，其特征在于，所述預定層數為2至6層，所述預定個數為20-2000個，所述預定步數根據具體任務確定。

5.根據權利要求2所述的無標志點上肢運動分析方法，其特征在于，在迭代訓練中，訓練批量大小設為10-100，模型的學習率設為0.0001-0.01。

6.根據權利要求1所述的無標志點上肢運動分析方法，其特征在于，所述轉移矩陣及肘關節屈/伸角度分別如以下表示式所示：

其中，轉移矩陣R(λ,η)的旋轉順序為Z-X-Y，矩陣各元素值基于人體骨架模型的節點三維空間坐標值、采用逆運動學算法計算確定，

α_FE表示肩關節屈/伸角度、α_AA表示肩關節內收/外展角度、α_IE表示肩關節內旋/外旋角度，α_EFE表示肘關節屈/伸角度，

V_ES是肘關節中心到肩關節中心的單位矢量，V_WE是從肘關節中心到腕關節中心的單位矢量。

7.根據權利要求1所述的無標志點上肢運動分析方法，其特征在于，所述基于所述圖像和深度信息進行逆運動學計算處理，得到上肢運動角度數據，具體包括：

對所述圖像和深度信息進行處理分析，得到使用者在運動中的骨架模型三維坐標數據；

根據功能運動任務的開始和結束時刻，截取骨架模型三維空間坐標數據；

將截取的骨架模型三維空間坐標數據重采樣到預設時間步；

應用逆運動學算法，基于重采樣后的骨架模型三維空間坐標數據進行計算處理，以得到所述上肢運動角度數據。

8.一種上肢運動分析系統，其特征在于，包括，分析處理裝置、輸出裝置以及一臺深度傳感器；

所述深度傳感器，用于獲取使用者在做上肢功能運動時的圖像和深度信息；

所述分析處理裝置，用于根據所述圖像和深度信息，執行權利要求1至7中任一項所述的分析方法，分析得到使用者的上肢運動學參數；

所述輸出裝置，用于對外輸出所述使用者的上肢運動學參數。