[發(fā)明專(zhuān)利]一種智能幼教學(xué)習(xí)系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711268030.0
• 申請(qǐng)日: 2017-12-05
• 公開(kāi)（公告）號(hào): CN107798931A
• 公開(kāi)（公告）日: 2018-03-13
• 發(fā)明（設(shè)計(jì)）人: 李健
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海電機(jī)學(xué)院
• 主分類(lèi)號(hào): G09B5/06
• 分類(lèi)號(hào): G09B5/06
• 代理公司: 上海伯瑞杰知識(shí)產(chǎn)權(quán)代理有限公司31227
• 代理人: 張美娟

1.一種智能幼教學(xué)習(xí)系統(tǒng)，其特征在于，包括攝像頭、本地圖像采集模塊、輸入終端、本地語(yǔ)音識(shí)別模塊、通信模塊、個(gè)人文庫(kù)、語(yǔ)音處理服務(wù)器、圖像處理服務(wù)器和輸出終端；

所述攝像頭、本地圖像采集模塊和通信模塊依次連接；

所述輸入模塊、本地語(yǔ)音識(shí)別模塊、個(gè)人文庫(kù)依次連接；

所述個(gè)人文庫(kù)與所述通信模塊互相通信連接；

所述通信模塊與所述語(yǔ)音處理服務(wù)器和所述圖像處理服務(wù)器通信連接；

所述語(yǔ)音處理服務(wù)器用于語(yǔ)音識(shí)別、語(yǔ)音合成和語(yǔ)音評(píng)測(cè)；

所述圖像處理服務(wù)器用于圖片文字識(shí)別。

2.根據(jù)權(quán)利要求1所述的一種智能幼教學(xué)習(xí)系統(tǒng)，其特征在于，所述輸入終端包括語(yǔ)音輸入模塊、觸摸屏和/或鍵盤(pán)；所述輸出終端包括顯示屏和揚(yáng)聲器。

3.一種基于權(quán)利要求2所述的一種智能幼教學(xué)習(xí)系統(tǒng)的智能幼教學(xué)習(xí)方法，其特征在于，

用戶通過(guò)語(yǔ)音輸入或所述攝像頭拍攝文本方式新建資源，添加用戶想要學(xué)習(xí)內(nèi)容，擴(kuò)展更新所述個(gè)人文庫(kù)；用戶語(yǔ)音輸入要學(xué)的內(nèi)容，所述揚(yáng)聲器播放所選內(nèi)容進(jìn)行教學(xué)，通過(guò)所述語(yǔ)音處理服務(wù)器語(yǔ)音合成個(gè)性化語(yǔ)音，模仿親人的發(fā)音進(jìn)行教學(xué)，幼兒根據(jù)發(fā)音進(jìn)行跟讀學(xué)習(xí)，可通過(guò)發(fā)音評(píng)測(cè)，根據(jù)發(fā)音的評(píng)價(jià)等級(jí)進(jìn)行反復(fù)學(xué)習(xí)，直到達(dá)標(biāo)，實(shí)現(xiàn)個(gè)性化的學(xué)習(xí)。

4.根據(jù)權(quán)利要求3所述的一種智能幼教學(xué)習(xí)方法，其特征在于，所述攝像頭拍攝文本方式新建資源，包括以下步驟：

S1：所述攝像頭拍攝所述文本頁(yè)面得到圖片信息，并將所述圖片存儲(chǔ)在所述本地圖像采集模塊；

S2：通過(guò)所述通信模塊將所述圖片信息上傳到所述圖像處理服務(wù)器；

S3：所述圖像處理服務(wù)器對(duì)所述圖片信息進(jìn)行識(shí)別，轉(zhuǎn)換成對(duì)應(yīng)的文本，通過(guò)所述通信模塊將轉(zhuǎn)換的所述文本發(fā)送給所述顯示屏；

S4：用戶對(duì)轉(zhuǎn)換的所述文本進(jìn)行修訂確認(rèn)；

S5：將確認(rèn)的所述文本保存到所述個(gè)人文庫(kù)。

5.根據(jù)權(quán)利要求3所述的一種智能幼教學(xué)習(xí)方法，其特征在于，所述語(yǔ)音輸入方式新建資源，包括以下步驟：

S1：所述語(yǔ)音輸入模塊輸入語(yǔ)音獲得語(yǔ)音信號(hào)，通過(guò)所述通信模塊上傳到所述語(yǔ)音處理服務(wù)器；

S2：所述語(yǔ)音處理服務(wù)器完成對(duì)所述語(yǔ)音信號(hào)的識(shí)別,轉(zhuǎn)換成對(duì)應(yīng)的文本,通過(guò)所述通信模塊將轉(zhuǎn)換的所述文本發(fā)送給所述顯示屏；

S3：用戶對(duì)轉(zhuǎn)換的所述文本進(jìn)行修訂確認(rèn)；

S4：將確認(rèn)的所述文本保存到所述個(gè)人文庫(kù)。

6.根據(jù)權(quán)利要求3所述的一種智能幼教學(xué)習(xí)方法，其特征在于，所述跟讀學(xué)習(xí)，包括以下步驟：

S1：所述語(yǔ)音輸入模塊輸入語(yǔ)音獲得語(yǔ)音信號(hào)，所述本地語(yǔ)音識(shí)別模塊對(duì)所述語(yǔ)音信號(hào)進(jìn)行識(shí)別，識(shí)別出關(guān)鍵字；

S2：將所述關(guān)鍵字在所述個(gè)人文庫(kù)中查找，如果找到所述關(guān)鍵字對(duì)應(yīng)的文本,將所述文本發(fā)送到所述語(yǔ)音處理服務(wù)器；如果所述個(gè)人文庫(kù)中沒(méi)有所述關(guān)鍵字對(duì)應(yīng)的文本,則在互聯(lián)網(wǎng)中搜索，直至找到所述關(guān)鍵字對(duì)應(yīng)的文本，將文本內(nèi)容保存至所述個(gè)人文庫(kù)，并將所述文本發(fā)送到所述語(yǔ)音處理服務(wù)器；

S3：所述語(yǔ)音處理服務(wù)器根據(jù)文本合成的語(yǔ)音信息通過(guò)所述通信模塊發(fā)送給所述輸出終端，并通過(guò)所述揚(yáng)聲器播報(bào)語(yǔ)音教學(xué)，同時(shí)在所述顯示屏顯示教學(xué)的內(nèi)容，并通過(guò)所述通信模塊發(fā)送文本內(nèi)容保存至所述個(gè)人文庫(kù)。

7.根據(jù)權(quán)利要求3所述的一種智能幼教學(xué)習(xí)方法，其特征在于，所述發(fā)音評(píng)測(cè)，包括以下步驟：

S1：由用戶選擇測(cè)試范圍，在所述個(gè)人文庫(kù)中選擇測(cè)試范圍內(nèi)的部分文本信息；

S2：將所述文本信息通過(guò)所述通信模塊傳送到所述語(yǔ)音處理服務(wù)器；

S3：所述語(yǔ)音處理服務(wù)器對(duì)所述文本信息進(jìn)行語(yǔ)音合成，將合成的語(yǔ)音信息通過(guò)所述通信模塊發(fā)送到所述輸出終端，通過(guò)所述揚(yáng)聲器播放，同時(shí)在所述顯示屏上顯示對(duì)應(yīng)的文本；

S4：測(cè)試者應(yīng)在給定時(shí)間內(nèi)輸入答案，將測(cè)試者輸入的語(yǔ)音信息打包傳給所述語(yǔ)音處理服務(wù)器，進(jìn)行語(yǔ)音評(píng)測(cè)，將發(fā)音的評(píng)測(cè)結(jié)果反饋給所述輸出終端，同時(shí)將語(yǔ)音識(shí)別出來(lái)的文字信息發(fā)送給所述顯示屏；

S5：根據(jù)識(shí)別的文字和所述個(gè)人文庫(kù)中的文字進(jìn)行比對(duì)，并給出評(píng)測(cè)結(jié)果，將發(fā)音評(píng)測(cè)結(jié)果和文字內(nèi)容評(píng)測(cè)結(jié)果均進(jìn)行評(píng)價(jià)，如果任何一個(gè)評(píng)測(cè)結(jié)果不合格，則繼續(xù)學(xué)習(xí)，否則可以根據(jù)用戶選擇，是否繼續(xù)學(xué)習(xí)，同時(shí)記錄測(cè)試結(jié)果。

8.根據(jù)權(quán)利要求3所述的一種智能幼教學(xué)習(xí)系統(tǒng)，其特征在于，所述語(yǔ)音合成可以基于原有的語(yǔ)音庫(kù)，也可以利用用戶的語(yǔ)音信息來(lái)訓(xùn)練語(yǔ)音模型，構(gòu)建自己的語(yǔ)音庫(kù)。