[發明專利]基于VR技術的虛擬查體教學方法和裝置

在審

• 申請號: 202010640933.2
• 申請日: 2020-07-06
• 公開（公告）號: CN111833682A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 曾多;何霄;熊茂琦;萬學紅;劉文秀;楊小偉;王強
• 申請（專利權）人: 四川大學華西醫院;上海褚信醫學科技有限公司
• 主分類號: G09B9/00
• 分類號: G09B9/00
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 譚承世

1.一種基于VR技術的虛擬查體教學方法，其特征在于，包括：

構建虛擬場景和虛擬病人；

通過VR頭盔設備向訓練者顯示虛擬環境和虛擬病人，與訓練者進行交互；

通過肢體及手勢識別模塊，識別訓練者的查體操作行為；

通過語音識別設備識別訓練者的語音信息；

控制所述虛擬病人根據所述查體操作行為和所述語音信息，向訓練者進行反饋；

實時監測訓練者的查體操作行為和語音信息是否合乎規范，并對查體操作行為和語音信息進行統計和評價，給出訓練成績和指導建議。

2.根據權利要求1所述的基于VR技術的虛擬查體教學方法，其特征在于，構建虛擬場景包括：

構建查體所處的病房，醫療設備，擺設器具和查體器械。

3.根據權利要求1所述的基于VR技術的虛擬查體教學方法，其特征在于，構建虛擬病人包括：

構建病人模型，構建病人動作，構建病人語音；

所述病人模型包括網格，貼圖，材質三部分，用來表述真實病人的外觀；

所述病人動作用來體現病人的病理特征和生理反應；其中，病理特征包括：腹痛、駝背、瘸腿和查體過程中的體位；

所述生理反應包括：膝跳、咳嗽、呻吟、痛苦；

所述病人語音用來模擬病人的發聲；其中所述病人語音的醫用特征基于不同的病例數據進行調整。

4.根據權利要求1所述的基于VR技術的虛擬查體教學方法，其特征在于，所述VR設備為htc vive pro VR設備，用于顯示虛擬場景和虛擬病人，以及在查體過程中的所有交互結果的反饋信息顯示，向訓練者實時定位和同步真實位置和朝向數據。

5.根據權利要求1所述的基于VR技術的虛擬查體教學方法，其特征在于，所述肢體及手勢識別設備：用于對訓練者的肢體動作和手勢的檢測識別，承擔訓練者肢體動作和手部動作和虛擬的訓練者的姿態同步；

其中，虛擬的訓練對象為當前訓練者在虛擬世界中的承載對象；主要用來同步VR設備的位置和朝向數據，以及肢體及手勢識別設備識別到的訓練者狀態數據，通過虛擬訓練者，虛擬場景，虛擬病人，營造一種真實的查體訓練教學情境。

6.根據權利要求1所述的基于VR技術的虛擬查體教學方法，其特征在于，所述肢體及手勢識別設備包括：kinect肢體姿態識別設備，和leapmotion手勢動作識別設備。

7.根據權利要求1所述的基于VR技術的虛擬查體教學方法，其特征在于，所述語音識別設備：負責將訓練者所說的話翻譯成文字，并將文字轉換成指令詞條，驅動虛擬病人做出對應的反饋；

其中，所述虛擬病人的反饋包括：動作反饋和/或語音反饋。

8.根據權利要求1所述的基于VR技術的虛擬查體教學方法，其特征在于，還包括：

實施監測訓練者的查體操作行為，語言內容是否符合查體的流程規范和專業規范；并對不符合規范的查體操作行為和醫用做出對應的提示。

9.一種基于VR技術的虛擬查體教學設備，其特征在于，包括：

構建模塊，用于構建虛擬場景和虛擬病人；

顯示模塊，用于通過VR頭盔設備向訓練者顯示虛擬環境和虛擬病人，與訓練識別模塊，用于通過肢體及手勢識別模塊：識別訓練者的查體操作行為，用于通過語音識別設備識別訓練者的語音信息；

反饋模塊，用于控制所述虛擬病人根據所述查體操作行為和所述語音信息，向訓練者進行反饋；

評價模塊，用于實時監測訓練者的查體操作行為和語音信息是否合乎規范，并對查體操作行為和語音信息進行統計和評價，給出訓練成績和指導建議。

10.一種存儲介質，其特征在于，所述存儲介質內存儲有預設的程序，當所述預設程序被執行是，以實現如權利要求1～8任一項所述的基于語音識別技術的標準化病人培訓方法。