[發(fā)明專利]聽障生融合教育課堂輔助系統(tǒng)及裝置

在審

• 申請?zhí)枺?/td>: 201810237622.4
• 申請日: 2018-03-22
• 公開（公告）號: CN108256512A
• 公開（公告）日: 2018-07-06
• 發(fā)明（設計）人: 趙劍;史麗娟;陳岱民;張代治;王麗榮;秦宏伍;石樂民;羅鵬;王柳
• 申請（專利權）人: 長春大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q50/20;G09B21/00;G10L15/25;G10L15/26;G10L25/57
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及聽障生融合教育課堂輔助系統(tǒng)及裝置，包括面部運動數據采集模塊、視頻識別處理模塊、語音數據采集模塊、語音識別模塊、同步處理模塊、數據傳輸模塊、顯示模塊、資源存儲模塊、資源獲取模塊、數據播放模塊；本發(fā)明提供具有音、視頻識別系統(tǒng)，同時加入資源存儲模塊、資源獲取模塊，能夠輔助聽障生在課堂內實時接收教師授課內容，同時也可適用于課后復習視頻課件，是聽障生融合教育的課堂輔助系統(tǒng)。

技術領域

本發(fā)明涉及聽障生融合教育課堂輔助系統(tǒng)及裝置。

背景技術

我國聽力障礙學生（聽力障礙學生下文簡稱聽障生）人數眾多。由于人類的語言認知過程是一個人多通道的感知過程，除聲音信息通道外，唇動視覺信息可以作為語音理解源。對于聽障兒童來講唇動視覺即唇讀是最主要的語音理解源，因此聽障生主要通過觀察說話人的口唇發(fā)音動作、肌肉活動及面部表情，形成連續(xù)的視知覺，并與頭腦中儲存的詞語表象相比較和聯系，進而理解說話者的內容。唇讀作為語音的發(fā)音運動技能，可以幫助聽障兒童利用唇讀在口語交流過程中獲取信息，有利于他們隨班就讀，融入主流社會。

目前大部分失聰和聽障兒童都在聾啞學?；蛱厥饨逃龑W校學習，為了讓聽障兒童能接受高質量的普通教育，我國部分地區(qū)采取了融合教育課堂理念，即：融合指的是讓大多數殘障兒童進入普通班，并增進在普通班學習的方式。希望能合并普通及特教系統(tǒng)，建立一個統(tǒng)一完整的系統(tǒng)以便管理教育資源，并希望將不同種類班級的學生融合在一起。但其難點在于：普通教育無法對聽障生提供高質量的個別化教學。聽障生對教師授課過程中唇讀及課后復習中存在很大的障礙。有鑒于此，有必要針對聽障生的特殊需求，提供能輔助聽障生在融合教育課堂上正常上課的系統(tǒng)平臺及裝置。

發(fā)明內容

本發(fā)明為輔助聽障生融入融合教育課堂的輔助系統(tǒng)及裝置，是具有音、視頻識別及語音轉文字的功能，同時該系統(tǒng)加入了資源存儲模塊、資源獲取模塊，提供能實時接收教師授課內容的輔助聽障生在融合教育課堂上正常上課的系統(tǒng)平臺，同時本系統(tǒng)可作為課后復習的視頻資料輔助學習。

聽障生融合教育課堂輔助系統(tǒng)，其特征在與：包括面部運動數據采集模塊、視頻識別處理模塊、語音數據采集模塊、語音識別模塊、同步處理模塊、數據傳輸模塊、顯示模塊、資源存儲模塊、資源獲取模塊、數據播放模塊。

所述面部運動數據采集模塊用于采集說話人面部運動數據。

所述視頻識別處理模塊用于視頻數據傳輸、視頻數據接收、視頻處理。

所述語音數據采集模塊用于采集說話人語音數據。

所述語音識別模塊用于將語音信息轉至文字信息。

所述同步處理模塊用于將文字、語音、視頻信息同步傳遞。

所述數據傳輸模塊用于將已同步的信息實時不間斷傳遞。

所述資源存儲模塊用于將以獲取的音頻、視頻、文字信息進行存儲。

所述資源獲取模塊包括視頻提取單元、協(xié)議分析單元、媒體解碼單元、用戶管理單元對以存儲的信息進行提取。

所述數據播放模塊用于對資源存儲模塊中存儲的音頻、視頻、文字信息按照各協(xié)議劃分進行播放。

所述顯示模塊用于顯示說話人音頻、視頻、文字可視化信息。

本發(fā)明是利用移動互聯網方式解決聽障生在融合教育課堂問題的輔助系統(tǒng)及裝置，系統(tǒng)通過視頻識別處理模塊、語音識別模塊與同步處理模塊后實時捕捉教師上課的唇形變化，聽障生通過手機或者其他顯示模塊觀看視頻，了解教師授課知識點或通過資源存儲模塊、資源獲取模塊登錄系統(tǒng)平臺鞏固復習課間教師授課知識點。

附圖說明

圖1是聽障生融合教育課堂輔助系統(tǒng)及裝置。

圖2是視頻識別處理模塊102示意圖。