[發明專利]言語交互訓練系統及方法

有效

• 申請號: 201010292117.3
• 申請日: 2010-09-25
• 公開（公告）號: CN102063903A
• 公開（公告）日: 2011-05-18
• 發明（設計）人: 王嵐;李崇國;郝健英;蒙美玲
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L15/24
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 吳平

1.一種言語交互訓練系統，其特征在于，包括：

用戶選擇模塊，為用戶提供多種訓練內容供用戶選擇，獲取用戶選擇的訓練內容；

言語交互訓練模塊，將用戶選擇的訓練內容以多模態的導引方式展示給用戶，導引用戶練習或者模仿訓練內容，進行言語訓練；

用戶反饋模塊，收集用戶進行言語訓練時反饋的語音以及與所述語音對應的唇部視頻；

言語評測模塊，接收并根據用戶反饋的語音以及對應的唇部視頻，對用戶的言語訓練進行自動評測并給出評測結果；

結果反饋模塊，用于將評測結果反饋給用戶，供用戶對言語訓練進行糾正和調整。

2.根據權利要求1所述的言語交互訓練系統，其特征在于，所述訓練內容為發出指定內容語音時的多種言語訓練，包括呼吸訓練、音調訓練、構音訓練、響度訓練、單音節訓練、雙音節訓練、單詞訓練、整句訓練中的至少一種；所述訓練內容的多模態的導引方式包括表現訓練內容本身意義的圖片、視頻、音頻、文字，訓練內容結合言語訓練的場景，訓練內容結合游戲方式以及可視化的發音過程中的至少一種。

3.根據權利要求2所述的言語交互訓練系統，其特征在于，所述言語評測模塊包括：

發音質量檢測單元，用于針對反饋的語音，采用語音信息處理技術進行發音質量和正確性的自動檢測，并給出檢測結果；

唇部運動檢測單元，用于針對反饋的唇部視頻進行唇部運動正確性的自動檢測，并給出檢測結果；

理解正確性檢測單元，根據用戶對系統的操作動作，結合訓練內容自動檢測用戶的理解正確性，并給出檢測結果；

綜合評測單元，綜合發音質量檢測單元、唇部運動檢測單元和理解正確性檢測單元的檢測結果，進行綜合評測，形成評測結果。

4.根據權利要求3所述的言語交互訓練系統，其特征在于，所述結果反饋模塊通過多媒體反饋，視覺反饋以及場景反饋將評測結果反饋給用戶。

5.根據權利要求1至4中任一項所述的言語交互訓練系統，其特征在于，所述系統還包括訓練控制模塊，接收評測結果作為用戶當前言語訓練所達水平的參考，依據初始存儲的訓練內容和用戶信息，規劃用戶下一步訓練內容，制定言語訓練方案。

6.根據權利要求1所述的言語交互訓練系統，其特征在于，所述系統實現方式包括基于網絡的客戶端/服務器方式、基于網絡的瀏覽器/服務器方式、基于嵌入式系統的單機模式中的至少一種。

7.一種言語交互訓練方法，包括如下步驟：

為用戶提供多種訓練內容供用戶選擇，獲取用戶選擇的訓練內容；

將用戶選擇的訓練內容以多模態的導引方式展示給用戶，導引用戶練習或者模仿訓練內容，進行言語訓練；

接收并根據用戶反饋的語音以及與所述語音對應的唇部視頻，對用戶的言語訓練進行自動評測并給出評測結果；

將評測結果反饋給用戶，供用戶對言語訓練進行糾正和調整。

8.根據權利要求7所述的言語交互訓練方法，其特征在于，所述接收并根據用戶反饋的語音以及與所述語音對應的唇部視頻，對用戶的言語訓練進行自動評測并給出評測結果具體為：接收用戶模仿或者練習訓練內容時反饋的語音及與所述語音對應的唇部視頻，進行發音質量的自動檢測，唇部運動自動檢測以及理解正確性自動檢測并各自給出檢測結果，自動綜合檢測結果進行評測，給出評測結果。

9.根據權利要求8所述的言語交互訓練方法，其特征在于，所述將評測結果反饋給用戶采用多媒體反饋，視覺反饋以及場景反饋中的至少一種。

10.根據權利要求7或9所述的言語交互訓練方法，其特征在于，所述方法還包括將接收的評測結果作為用戶當前言語訓練所達水平的參考，依據初始存儲的訓練內容和用戶信息，規劃用戶下一步訓練內容，制定言語訓練方案的步驟。