[發明專利]一種虛擬現實交互的游戲型上肢康復訓練系統及方法

有效

• 申請號: 201710420155.4
• 申請日: 2017-06-06
• 公開（公告）號: CN107308638B
• 公開（公告）日: 2019-09-17
• 發明（設計）人: 趙娟;佘錦華;吳敏;黃守杰
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: A63F13/213
• 分類號: A63F13/213;A63F13/215;A63F13/23;A63F13/52
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 馮必發

1.一種虛擬現實交互的游戲型上肢康復訓練系統，其特征是：包括RGB攝像模塊、紅外投影攝像模塊、麥克風陣列模塊、數據分析處理模塊、康復師模塊、數據存儲模塊、人機交互模塊；所述RGB攝像模塊采集患者真實彩色圖像數據，根據所述真實彩色圖像數據追蹤人體節點信息，并傳輸至所述數據分析處理模塊；所述紅外投影攝像模塊實時采集患者的深度圖像數據，根據深度圖像數據識別人體三維動作信息，并將所述人體三維動作信息傳輸至所述數據分析處理模塊和所述數據存儲模塊；所述麥克風陣列模塊采集患者的語音信息并傳輸至所述數據分析處理模塊和所述數據存儲模塊；所述康復師模塊接收患者信息的輸入，并根據輸入的信息制定患者康復方案傳輸至所述數據分析處理模塊和所述數據存儲模塊；所述數據分析處理模塊根據所接收的人體三維動作信息、語音信息、康復方案處理得到適合相應患者的交互性康復訓練游戲，并將所述康復訓練游戲傳輸至所述人機交互模塊上；所述數據存儲模塊存儲接收的所述人體節點信息、人體三維動作信息、康復方案；所述人機交互模塊的顯示界面上顯示所述康復訓練游戲，患者對著所述顯示界面上的康復訓練游戲進行相應的操作，所述康復訓練動作；

在康復訓練開始時，所述RGB攝像模塊采集患者的真實彩色圖像數據，所述數據分析處理模塊對其采集的真實彩色圖像數據處理后的身份信息與數據存儲模塊中存儲的身份信息進行匹配，可匹配到一致信息后進行下一步操作。

2.根據權利要求1所述的一種虛擬現實交互的游戲型上肢康復訓練系統，其特征是：所述數據分析處理模塊對所述真實彩色圖像數據追蹤的人體節點信息處理為患者對應的身份信息，并將所述身份信息傳輸至所述數據存儲模塊中存儲。

3.根據權利要求1所述的一種虛擬現實交互的游戲型上肢康復訓練系統，其特征是：所述數據分析處理模塊對所述人體三維動作信息進行處理為相應的動作軌跡，并與康復訓練游戲中設定的動作軌跡進行比較。

4.根據權利要求1所述的一種虛擬現實交互的游戲型上肢康復訓練系統，其特征是：所述分析處理模塊將輸入的語音信息與所述數據存儲模塊中存儲的語音信息進行識別匹配。

5.根據權利要求1至4任一項所述的虛擬現實交互的游戲型上肢康復訓練系統實現的一種虛擬現實交互的游戲型上肢康復訓練方法，其特征在于，包括如下步驟：

(1)RGB攝像模塊采集患者真實彩色圖像數據，所述真實彩色圖像數據對應人體節點信息，并將所述人體節點信息傳輸至所述數據分析處理模塊；

(2)紅外投影攝像模塊采集患者的深度圖像數據，所述深度圖像數據識別人體三維動作信息，所述人體三維動作信息傳輸至所述數據分析處理模塊和存儲數據模塊中，所述數據分析處理模塊對所述人體三維動作信息處理為相應的動作軌跡；

(3)麥克風陣列模塊采集患者的語音信息并傳輸至所述數據分析處理模塊和所述數據存儲模塊；

(4)康復師模塊接收患者信息的輸入，并根據輸入的信息制定患者康復方案傳輸至所述數據分析處理模塊和所述數據存儲模塊；

(5)所述數據分析處理模塊根據所接收的人體三維動作信息、語音信息、康復方案處理得到適合相應患者的交互性康復訓練游戲，并將所述康復訓練游戲傳輸至所述人機交互模塊上；

(6)患者利用肢體語言或語音對照所述人機交互模塊的顯示界面上顯示的所述康復訓練游戲完成對應操作，完成康復訓練動作。

6.根據權利要求5所述的一種虛擬現實交互的游戲型上肢康復訓練方法，其特征是：步驟(1)中，所述數據分析處理模塊人體節點信息處理為對應的身份信息，與所述數據存儲模塊存儲的身份信息進行匹配識別。

7.根據權利要求5所述的一種虛擬現實交互的游戲型上肢康復訓練方法，其特征是：步驟(3)中，采集的語音信息用于對患者進行識別，在康復訓練過程中，需要語音信息輸入時，所述分析處理模塊將輸入的語音信息與所述數據存儲模塊中存儲的語音信息進行識別匹配。

8.根據權利要求5所述的一種虛擬現實交互的游戲型上肢康復訓練方法，其特征是：步驟(5)中，所述數據分析處理模塊根據接收的患者三維動作信息與制定的康復訓練游戲中需要實現的動作軌跡進行比較，判斷患者是否完全完成游戲的動作或是部分完成，并根據判斷結果重新制定所述康復訓練游戲，并傳輸至所述人機交互模塊。