[發明專利]基于三維頭像的聾兒語言康復方法及系統

有效

• 申請號: 201010108090.8
• 申請日: 2010-02-10
• 公開（公告）號: CN101751809A
• 公開（公告）日: 2010-06-23
• 發明（設計）人: 趙劍;王麗榮;張超;鄒稷;史麗娟;吳佳楠
• 申請（專利權）人: 長春大學
• 主分類號: G09B21/00
• 分類號: G09B21/00
• 代理公司: 長春市吉利專利事務所 22206
• 代理人: 張紹嚴

1.一種基于三維頭像的聾兒語言康復方法，其特征在于：使聾兒在漢 語發音學習中通過視覺直觀看到顯示屏幕上的三維會話頭像模擬發音過程， 通過半透明的頭像可以看到內部發音器官發音過程的動作序列，一邊模仿一 邊練習，具體方法是：

a.通過顯示屏幕向聾兒播放某一漢語文字、詞、短語、簡單句子的可視 化三維頭像發音過程，同時播放該信息的語音，該發音過程是經過參數驅動 3D頭像的各個發音器官完成的，接下來進行步驟b；

b.聾兒根據屏幕顯示的發音過程進行發音練習，同時系統收集聾兒練習 過程的音頻和視頻資料，通過唇讀技術的視頻分析和語音識別技術的音頻分 析給聾兒發音進行評分：優秀、合格、不合格，若合格進入步驟c，若優秀 進入步驟d，若不合格進入步驟e；

c.鼓勵學生繼續進行練習，爭取達到優秀標準，若聾兒選擇繼續練習則 返回到剛剛訓練的內容，同時系統進入步驟b，若不想繼續學習此內容則可選 擇進入下一訓練環節，同時系統進入步驟b，或者進入步驟f；

d.給予聾兒一定獎勵，好看的圖片或是動畫，激勵聾兒繼續努力學習， 若想繼續學習可選擇進入下一訓練環節，同時系統進入步驟b，或者進入步 驟f；

e.給予聾兒一定鼓勵，同時重新播放正確的三維頭像發音過程，通過視 頻分析，提示其在剛剛發音過程中的錯誤之處，并系統進入步驟b；

f.退出系統。

2.一種基于三維頭像的聾兒語言康復系統，其特征在于包括：數據處 理裝置、數據輸入裝置、數據輸出裝置，以及視音頻接收處理裝置，具體包 括如下信息：

一個三維頭像模型庫，由若干三維頭像模型組成，每一模型都應特定聾 兒的頭部形態，并且每一頭像的發音器官設置多個參數點；

一個漢語可視語音參數庫，用以驅動三維頭像模型的參數，每一參數對 應一個音、字、詞、句子漢語單元；

一個語訓庫，按照聾兒發音康復不同階段分為高級、中級、初級三個等 級，分別裝載各自不同級別的發音單元；

一個受訓者資料庫，記錄受訓者學習情況，并對受訓者所學發音過程進 行統計評估，通過評估認定受訓者應該在哪個語訓等級中；

一個圖形顯示模塊，根據系統輸入需要顯示的相應語訓等級中的漢語單 元，從參數庫中調取參數驅動頭像模型，進入可視化三維頭像發音過程；

一個視頻音頻接收模塊，接收聾兒發音過程的視音頻文件；

一個判斷模塊，通過語音識別和唇讀識別技術判斷聾兒發音的級別：優 秀或合格或不合格；

一個反饋模塊，根據判斷模塊的結果提取上述記錄的聾兒發音過程文 件，或者提示聾兒如何正確發音，或者播放正確的發音過程。

3.依據權利要求2所述的一種基于三維頭像的聾兒語言康復系統，其 特征在于：其中數據處理裝置包括圖形處理卡和聲音處理卡，數據輸出裝置 為LCD顯示器。

4.依據權利要求2所述的一種基于三維頭像的聾兒語言康復系統，其 特征在于：其中數據輸入裝置包括視頻采集裝置和音頻采集裝置，為攝像頭 和麥克。