[發(fā)明專利]一種基于虛擬現(xiàn)實(shí)的言語失用癥康復(fù)訓(xùn)練方法

在審

• 申請?zhí)枺?/td>: 201910425523.3
• 申請日: 2019-05-21
• 公開（公告）號: CN110176284A
• 公開（公告）日: 2019-08-27
• 發(fā)明（設(shè)計(jì)）人: 潘志庚;焦歡歡
• 申請（專利權(quán)）人: 杭州師范大學(xué)
• 主分類號: G16H20/00
• 分類號: G16H20/00;G06F3/01;G10L15/02;G10L15/14
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于虛擬現(xiàn)實(shí)的言語失用癥康復(fù)訓(xùn)練方法，該方法采用的康復(fù)訓(xùn)練設(shè)備包括：

頭顯設(shè)備，包括頭戴式顯示器、與所述頭戴式顯示器無線交互的手柄；所述頭戴式顯示器和手柄均內(nèi)置有定位模塊，所述的定位模塊用于空間內(nèi)同時(shí)追蹤頭戴式顯示器與手柄的定位；

計(jì)算機(jī)，與所述頭顯設(shè)備連接；計(jì)算機(jī)為頭顯設(shè)備提供康復(fù)訓(xùn)練虛擬場景的畫面；

其特征在于，該方法的具體包括：

(1).計(jì)算機(jī)將言語失用癥康復(fù)訓(xùn)練畫面?zhèn)鬏數(shù)筋^顯設(shè)備，提供言語失用癥康復(fù)訓(xùn)練虛擬場景，使用者用手柄在虛擬康復(fù)訓(xùn)練中與虛擬物品進(jìn)行交互，學(xué)習(xí)虛擬場景中物品的發(fā)音，點(diǎn)擊學(xué)習(xí)按鈕進(jìn)入學(xué)習(xí)模塊虛擬場景；

(2).計(jì)算機(jī)將虛擬人嘴型畫面?zhèn)鬏數(shù)筋^顯設(shè)備，提供學(xué)習(xí)的虛擬場景，使用者用語音在虛擬場景中與虛擬人進(jìn)行交互，學(xué)習(xí)完成后，點(diǎn)擊訓(xùn)練按鈕進(jìn)入訓(xùn)練模塊虛擬場景；

使用者用語音在虛擬場景中與虛擬人進(jìn)行交互，采用音素識(shí)別器將輸入的語音轉(zhuǎn)換為音素輸入；所述的音素為語言的最小可分單元，采用實(shí)時(shí)音素識(shí)別器將輸入的語音實(shí)時(shí)轉(zhuǎn)換為音素；具體方法如下：

在語音識(shí)別系統(tǒng)中，一段語音信號經(jīng)過特征提取后得到一個(gè)特征序列O＝(o₁,o₂,…,o_i)，假定該特征幀序列對應(yīng)的一個(gè)音素串為W＝(ω₁,ω₂,…,ω_n),那么連接語音識(shí)別的任務(wù)就是在語言L中找到與O對應(yīng)的最可能音素串滿足：

在基于隱馬爾可夫模型語音識(shí)別中，使用Veterbi搜索算法，每處理一個(gè)特征序列即得到當(dāng)前最佳的音素串,由式(1)得到t時(shí)刻的最佳音素串：

其中，o_t為t時(shí)刻輸入的特征幀，表示音素串的最后一個(gè)音素；由(s1)得到t+1時(shí)刻到t+N-1時(shí)刻的N-1個(gè)音素序列：

如果連續(xù)N個(gè)特征幀搜索到的最佳音素序列的最后一個(gè)音素都相同，設(shè)為并且與上一個(gè)已經(jīng)識(shí)別輸出的發(fā)音音素不同，那么將作為當(dāng)前的發(fā)音音素輸出，即如果t到t+N-1時(shí)刻得到的最佳音素序列滿足：

則把當(dāng)作當(dāng)前正在發(fā)音的音素輸出；

(3).計(jì)算機(jī)將訓(xùn)練畫面?zhèn)鬏數(shù)筋^顯設(shè)備，提供訓(xùn)練的虛擬場景，使用者用語音在虛擬場景中與虛擬物品進(jìn)行交互，獲得訓(xùn)練分?jǐn)?shù)信息，計(jì)算機(jī)實(shí)時(shí)獲取頭戴式顯示器、手柄的反饋信息；

采用動(dòng)態(tài)視素來描述某一視素發(fā)音時(shí)口型從產(chǎn)生到消失的完整變化過程：每個(gè)視素的每一個(gè)面部動(dòng)畫參數(shù)都定義一個(gè)控制函數(shù)，同時(shí)引入了兩個(gè)無聲模型以及他們各自的控制函數(shù)；p表示視素s的某一個(gè)面部動(dòng)畫參數(shù)，p在s中的控制函數(shù)D_sp表示為：

其中：α_sp表示控制函數(shù)的峰值，θ_sp(-)、θ_sp(+)是衰減系數(shù)，c是常數(shù)，τ表示當(dāng)前時(shí)刻到控制函數(shù)中心時(shí)刻的距離τ＝t_s0-t，t_s0表示當(dāng)前時(shí)刻；

兩個(gè)無聲模型分別表示無聲到有聲和有聲到無聲的口型轉(zhuǎn)變；其中：

從無聲到有聲的控制函數(shù)為：

其中σ＝t_l0-t，t_l0表示左無聲模型中心的時(shí)刻；

從有聲到無聲的控制函數(shù)為：

其中v＝t_r0-t，t_r0表示右無聲模型中心的時(shí)刻；

任意時(shí)刻視素的動(dòng)態(tài)參數(shù)由其靜態(tài)值按照(s2)～(s4)表示的控制函數(shù)加權(quán)構(gòu)成：其中：T_0p為自然狀態(tài)下中參數(shù)p的靜態(tài)值；T_sp為視素s中參數(shù)p的靜態(tài)值。