[發明專利]聽障兒童語言訓練輔助系統及方法

在審

• 申請號: 201410719600.3
• 申請日: 2014-12-01
• 公開（公告）號: CN104537926A
• 公開（公告）日: 2015-04-22
• 發明（設計）人: 楊穎;劉強;蔡文懌;高嘉俊;余良駒;陳序建;吳偉迪;荊婧;韓挺
• 申請（專利權）人: 上海交通大學
• 主分類號: G09B21/00
• 分類號: G09B21/00
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 郭國中

技術領域

本發明涉及一種語言訓練輔助系統及方法，具體地，涉及一種聽障兒童語言訓練輔助系統及方法。

背景技術

現有的技術主要是單純捕捉聲音，進行分析和反饋，沒有針對發音技巧的指導；或者是主要針對語言理解、思維認知的訓練，沒有對單個發音進行練習；或者是部分的語言訓練方法，但是沒有系統的語言訓練方法。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種聽障兒童語言訓練輔助系統及方法，其模擬傳統的教學方式，將主流的教學方式結合到一起，可以提供發音技巧的指導，針對單個發音練習進行準確度反饋。

根據本發明的一個方面，提供一種聽障兒童語言訓練輔助系統，其特征在于，包括：

視頻處理模塊，用于調用電腦攝像頭，以及家長錄制或播放教學課程視頻，將教學課程視頻傳送至服務器或從服務器獲取教學課程視頻；

服務器模塊，存儲錄制的教學課程視頻，對無線通信模塊發送數據；

無線通信模塊，接收來自服務器模塊的網站頁面信息的數據，獲取網站頁面信息的數據后，對其進行分析來得到有效數據，傳遞給信息處理模塊，用于控制氣息模擬模塊的運作和聲帶振動模擬模塊的運作；

信息處理模塊，通過多線程設計對無線通信模塊產生的通信線程、氣息模擬模塊產生的氣息模擬線程以及聲帶振動模擬模塊產生的聲帶振動模擬線程進行管理，從而使得各線程同時運行，保障無線通信模塊在接收數據之后及時將數據傳遞給輸出模塊；

輸出模塊，首先對GPIO進行配置，通過在選定的兩個GPIO口輸出PWM波來控制氣息模擬模塊的運作程度和聲帶振動模擬模塊的運作程度，PWM波的占空比由無線通信模塊的處理數據確定；

氣息模擬模塊，受信息處理模塊控制，氣息模擬模塊進行轉動；根據輸出模塊的控制，產生不同的轉速，模擬不同發音時的口腔氣流的大小；

聲帶振動模擬模塊，受信息處理模塊控制，聲帶振動模擬模塊產生振動；根據輸出模塊的控制，產生不同的振動強度，模擬不同發音時聲帶振動的強弱；

語音準確度反饋模塊，用于將由麥克風獲取的聽障兒童發聲的音頻輸出到語音識別接口，接收反饋并轉化為拼音，判斷正誤，產生學習記錄，傳輸給數據記錄模塊；

數據記錄模塊，用于所有課程數據、學習記錄的存儲與處理，家長查看所記錄的數據。

優選地，所述氣息模擬模塊采用風扇。

優選地，所述聲帶振動模擬模塊采用振子。

優選地，所述語音準確度反饋模塊包括麥克風和語音識別接口。

優選地，所述無線通信模塊、信息處理模塊、輸出模塊、氣息模擬模塊、聲帶振動模擬模塊構成硬件設備。

本發明還提供一種聽障兒童語言訓練輔助方法，其特征在于，其包括以下步驟：

步驟一，家長登錄網站，選擇語言訓練課程；

步驟二，判斷語言訓練課程是否是錄制過的教學視頻，如果是錄制過的教學視頻，則執行步驟四；如果是未錄制過的教學視頻，則執行步驟三；

步驟三，若該語言訓練課程是未錄制過的教學視頻，則通過視頻處理模塊進行教學視頻的錄制，錄制完成的教學視頻上傳至服務器模塊；

步驟四，語言訓練課程錄制完成，進入課程學習頁面；課程學習頁面左側為家長錄制的教學視頻，右側為攝像頭實時捕捉的兒童學習畫面；學習頁面上還有課程相配套的文字、圖片、拼音、發聲舌形示意圖；點擊播放語言訓練課程的教學視頻；

步驟五，開啟硬件設備，硬件設備中的無線通信模塊向服務器模塊發送指令請求，請求獲取網站頁面信息的數據；

步驟六，當語言訓練課程的教學視頻播放時，無線通信模塊接收到來自服務器模塊的網站學習頁面信息的數據，分析得到有效數據，傳遞給信息處理模塊，用于控制氣息模擬模塊的運作和聲帶振動模擬模塊的運作；

步驟七，硬件設備中的信息處理模塊將無線通信模塊接收到的數據傳遞給控制氣息模擬模塊、聲帶振動模擬模塊，同時控制控制氣息模擬模塊的運作、聲帶振動模擬模塊的運作；同時傳遞數據給輸出模塊，輸出模塊控制氣息模擬模塊的運作程度和聲帶振動模擬模塊的運作程度；

步驟八，聽障兒童手持硬件設備，感受硬件設備根據視頻的內容產生相應的振動和氣流，結合網站頁面上文字、圖片、舌型以及視頻中的口型和聲音，練習發聲；

步驟九，由語音準確度反饋模塊捕捉兒童聲音，進行語音識別和分析，以拼音形式反饋在學習頁面，和正確的發音拼音進行比較，得出準確度，以小星星形式評分反饋；

步驟十，數據記錄模塊記錄兒童學習得分和課程數據。