[發明專利]基于三維頭像的聾兒語言康復方法及系統

有效

• 申請號: 201010108090.8
• 申請日: 2010-02-10
• 公開（公告）號: CN101751809A
• 公開（公告）日: 2010-06-23
• 發明（設計）人: 趙劍;王麗榮;張超;鄒稷;史麗娟;吳佳楠
• 申請（專利權）人: 長春大學
• 主分類號: G09B21/00
• 分類號: G09B21/00
• 代理公司: 長春市吉利專利事務所 22206
• 代理人: 張紹嚴

技術領域

本發明涉及一種訓練聾兒發音的方法以及實現這種方法的系統，特別是 一種基于三維頭像的聾兒語言康復方法及其系統，尤指一種利用計算機三維 建模技術、語音識別技術、圖像識別技術相結合進行聾兒漢語發音康復的基 于三維頭像的聾兒語言康復方法及其系統。

背景技術

兒童的語言能力主要通過自然習得。聾兒由于聽力障礙，使得語言聽說 的能力遠遠落后于同齡健全兒童。而學齡前是兒童獲得語言的關鍵時期，醫 學專家指出：0～3歲是兒童大腦發育最快的時期，也是學習語言的最關鍵期。 7歲以前是最佳期，7～12歲是可塑期。如果此時發生耳聾，則嚴重影響兒童 的聽覺，言語發育，同時也影響其他方面的發展。聾兒語言康復訓練主要針 對學齡前聾兒，旨在通過語言康復訓練，幫助聾兒學習語音，理解語詞，培養 語感及自主學習語言的意識，使其具有一定的懂話能力，說話能力，達到能聽 會說，聾而不啞，為其今后的知識學習和參與社會活動奠定基礎。

中國實用新型專利申請號為85200511，公開號為85200511，專利名稱 為“TET-型聾啞學話機”公開了一種聾啞學話機專供聾啞學校訓練全班學生 說話的設備，該設備具有適宜聾啞人的特殊立體聲集成音響系統，采用三種 機電傳感器。中國發明專利申請號為91109902.6，公開號為CN1071595，專 利名稱為“聾兒康復儀”公開了一種用電子學方法使產生的500-800 G?S磁場作用于耳周穴位。這種磁場應在某種音樂旋律調制下成為有節奏變 化的磁場。特征是將音樂調制的磁場做在頭環的耳機上，并使磁場緊靠耳周 穴位，用途是治療各種原因造成的小兒感音區性耳聾。中國實用新型專利申 請號為99113117.7，公開號為1280862，專利名稱為“聾兒雙項速成康復法” 公開了一種涉及聾兒聽力、語言康復的新方法，借助理療、磁療等方法提高 聽神經細胞活力，激發聽神經潛能，促進聽神經細胞的再生，從而提高聽覺 能力，然后結合輔助功能訓練，采用多種形式、多種方式，適用于發明相配 套的自編教材，對聾兒進行系統的科學的聽力、語音、語言程序訓練，使其 在短時間內開口說話。但上述方法使用單純的錄音、指認圖片，時間長了他 們會感到厭煩，學習興趣大幅度降低，很多孩子還拒絕這種訓練。中國實用 新型專利申請號為902144413，公開號為2071362，專利名稱為“聾啞人語 言教學機”公開了一種適用于聾啞人用的語言教學機，其內部電路中加接有 選擇開關、濾波選通電路以及音量平衡電位器，聾啞人根據兩耳殘余聽力可 以選擇不同的頻率響應以及音量，達到最佳的聽力以及聽覺與視覺的統一， 從而改變了單靠手勢的聾兒語言教學法

上述各種涉及聾兒聽力、語言康復的方法和教學機，對聾兒語音開發具 有一定作用，但均有各自的缺點和應用的局限性，這些問題需要進一步加以 改進。

發明內容

本發明的目的是為了克服目前聾兒語言康復方法及康復系統單調枯燥 以及無反饋診斷過程的不足，將三維建模與可視語音技術相結合，建立基于 參數驅動的三維唇動模型及適合聾兒康復的三維漢語輔助發音可視語音庫， 并在建立三維會話頭像的基礎上，結合語音識別和圖像識別技術對聾兒發音 進行校正，以達到幫助聾兒恢復漢語發音功能的目的，特別是輔助3-7歲聾 兒學習漢語發音，以便他們能夠進入正常學校讀書。

為了實現本發明的目的，本發明采用以下技術方案：一種基于三維頭像 的聾兒語言康復方法，使聾兒在漢語發音學習中通過視覺直觀看到顯示屏幕 上的三維人體頭像模擬發音過程，通過半透明的頭像可以看到內部發音器官 發音過程的動作序列，一邊模仿一邊練習，具體內容包括：

a.通過顯示屏幕向聾兒播放某一漢語文字、詞、短語、簡單句子的可視 化三維頭像發音過程，同時播放該信息的語音，該發音過程是經過參數驅動 三維頭像的各個發音器官完成的，接下來進行步驟b；

b.聾兒根據屏幕顯示的發音過程進行發音練習，同時系統收集聾兒練習 過程的音頻和視頻資料，通過唇讀技術的視頻分析和語音識別技術的音頻分 析，給聾兒發音進行評分：優秀、合格、不合格，若合格進入步驟c，若優 秀進入步驟d，若不合格進入步驟e；

c.鼓勵學生繼續進行練習，爭取達到優秀標準，若聾兒選擇繼續練習則 返回到剛剛訓練的內容，同時系統進入步驟b，若不想繼續學習此內容則可選 擇進入下一訓練環節，同時系統進入步驟b，或者進入步驟f；