[發明專利]一種基于虛擬現實的言語失用癥康復訓練方法

在審

• 申請號: 201910425523.3
• 申請日: 2019-05-21
• 公開（公告）號: CN110176284A
• 公開（公告）日: 2019-08-27
• 發明（設計）人: 潘志庚;焦歡歡
• 申請（專利權）人: 杭州師范大學
• 主分類號: G16H20/00
• 分類號: G16H20/00;G06F3/01;G10L15/02;G10L15/14
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種基于虛擬現實的言語失用癥康復訓練方法。本發明方法采用頭顯設備和計算機：頭顯設備包括內置有定位模塊的頭戴式顯示器和手柄；計算機與頭顯設備連接，提供康復訓練虛擬場景的畫面。該方法包括：通過計算機將言語失用癥康復訓練畫面傳輸到頭顯設備，使用者通過手柄與虛擬物品進行交互，學習虛擬場景中物品的發音；計算機將虛擬人嘴型畫面傳輸到頭顯設備，使用語音在虛擬場景中與虛擬人進行交互，學習完成后進入訓練模塊虛擬場景；使用者用語音在虛擬場景中與虛擬物品進行交互，獲得訓練分數信息，計算機實時獲取頭戴式顯示器、手柄的反饋信息。本發明方法減少了言語失用癥康復訓練的成本、提高了患者訓練的積極性和治療效果。

技術領域

本發明涉及虛擬康復訓練技術領域，具體涉及一種基于虛擬現實的言語失用癥康復訓練方法。

背景技術

言語失用是不能執行自主運動進行發音和言語的活動，而且這種異常是在缺乏或者不能用言語肌肉的麻痹、不協調或肌力減弱來解釋的一種運動性言語障礙。這種疾病的主要特征就是患者在生活中失去了語言表達的能力，給患者的生活帶來了很大的壓力，同時也影響了患者的健康，因此言語失用患者的康復治療顯得尤為重要。傳統的康復治療方法通常是在醫院由康復師制定康復計劃，利用醫療康復器材進行被動式輔助性康復訓練，其康復治療過程單調、枯燥，用戶難以產生興趣，治療效果也不盡人意。

近年來，隨著虛擬現實技術的廣泛應用，將虛擬現實技術引入語言康復訓練中已成為研究熱點。虛擬現實技術由軟件提供多種訓練場景，如同置身于游戲之中，在用戶使用虛擬現實技術進行康復訓練時，可以明顯地感受到自己在動作技能、肌肉張力等方面的提高，使治療過程充滿樂趣，提高用戶的樂觀情緒。

發明內容

本發明的目的就是提供了一種基于虛擬現實的言語失用癥康復訓練方法，該方法使用先進的虛擬現實技術，減少康復訓練的成本、增加康復訓練的趣味性。

本發明方法采用的康復訓練設備，包括：

頭顯設備，包括頭戴式顯示器、與所述頭戴式顯示器無線交互的手柄；所述頭戴式顯示器和手柄均內置有定位模塊，所述的定位模塊用于空間內同時追蹤頭戴式顯示器與手柄的定位；

計算機，與所述頭顯設備連接；計算機為頭顯設備提供康復訓練虛擬場景的畫面，虛擬場景包括：言語失用康復室場景、學習虛擬人嘴型和發音場景、康復訓練場景；

在言語失用康復室場景中，使用者通過與場景中虛擬物品的交互，學習場景中每個物品的讀音；

在學習虛擬人嘴型和發音場景中，使用者跟隨虛擬人的嘴型和發音，學習漢語拼音字母、字、詞、句，如果檢測到使用者讀音正確，則會出現顯示正確的提示界面；否則出現顯示錯誤的提示界面；

在康復訓練場景中，使用者與場景中展示的虛擬物品進行語音交互，如果計算機檢測到讀音與所示物品的讀音相同，則會出現顯示正確的提示界面；否則出現顯示錯誤的提示界面，并且播放物品的正確讀音。

該方法的具體包括：

1.計算機將言語失用癥康復訓練畫面傳輸到頭顯設備，提供言語失用癥康復訓練虛擬場景，使用者用手柄在虛擬康復訓練中與虛擬物品進行交互，學習虛擬場景中物品的發音，點擊學習按鈕進入學習模塊虛擬場景；

2.計算機將虛擬人嘴型畫面傳輸到頭顯設備，提供學習的虛擬場景，使用者用語音在虛擬場景中與虛擬人進行交互，學習完成后，點擊訓練按鈕進入訓練模塊虛擬場景；

使用者用語音在虛擬場景中與虛擬人進行交互，采用音素識別器將輸入的語音轉換為音素輸入；所述的音素為語言的最小可分單元，采用實時音素識別器將輸入的語音實時轉換為音素；具體方法如下：