[發(fā)明專利]互動(dòng)教學(xué)方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110450199.8
• 申請(qǐng)日: 2021-04-25
• 公開（公告）號(hào): CN113140138A
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 張建鑫;陳奕名;霍衛(wèi)濤;麻越;馬丁;王超
• 申請(qǐng)（專利權(quán)）人: 新東方教育科技集團(tuán)有限公司
• 主分類號(hào): G09B5/14
• 分類號(hào): G09B5/14;G09B5/06;G10L15/06;G10L15/16;G10L15/22;G10L15/26;G10L25/24;G10L25/30
• 代理公司: 北京英創(chuàng)嘉友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 賀曉蕾

1.一種互動(dòng)教學(xué)方法，其特征在于，所述方法包括：

在接收到互動(dòng)請(qǐng)求消息的情況下，獲取音頻采集裝置采集的教學(xué)互動(dòng)音頻信息；所述教學(xué)互動(dòng)音頻信息包括教師發(fā)出的音頻信息或者學(xué)生發(fā)出的音頻信息；

將所述教學(xué)互動(dòng)音頻信息進(jìn)行語音分段處理，得到多個(gè)子音頻信息；

根據(jù)多個(gè)所述子音頻信息通過預(yù)先訓(xùn)練得到的語音識(shí)別模型，得到所述教學(xué)互動(dòng)音頻信息對(duì)應(yīng)的文本識(shí)別結(jié)果，所述語音識(shí)別模型的模型結(jié)構(gòu)去掉長短期記憶網(wǎng)絡(luò)LSTM層；

根據(jù)所述文本識(shí)別結(jié)果生成教學(xué)素材查詢指令；

根據(jù)所述教學(xué)素材查詢指令查詢與所述教學(xué)互動(dòng)音頻信息匹配的目標(biāo)素材；

將所述目標(biāo)素材添加至當(dāng)前正在展示的教學(xué)課件中，以便展示根據(jù)所述教學(xué)互動(dòng)音頻信息查找的所述目標(biāo)素材。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述文本識(shí)別結(jié)果包括由多個(gè)離散的文本字符組成的字符序列；所述根據(jù)多個(gè)所述子音頻信息通過預(yù)先訓(xùn)練得到的語音識(shí)別模型，得到所述教學(xué)互動(dòng)音頻信息對(duì)應(yīng)的文本識(shí)別結(jié)果包括：

針對(duì)多個(gè)所述子音頻信息中的每個(gè)子音頻信息，提取該子音頻信息對(duì)應(yīng)的梅爾倒譜系數(shù)MFCC特征；

將每個(gè)所述子音頻信息分別對(duì)應(yīng)的所述MFCC特征依次輸入所述語音識(shí)別模型，得到所述字符序列。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述文本識(shí)別結(jié)果生成教學(xué)素材查詢指令包括：

根據(jù)所述字符序列進(jìn)行模糊匹配，得到目標(biāo)關(guān)鍵字；

根據(jù)所述目標(biāo)關(guān)鍵字生成所述教學(xué)素材查詢指令。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)所述教學(xué)素材查詢指令查詢與所述教學(xué)互動(dòng)音頻信息匹配的目標(biāo)素材之前，所述方法還包括：

確定所述教學(xué)互動(dòng)音頻信息對(duì)應(yīng)的聲源身份，所述聲源身份包括教師或者學(xué)生；

根據(jù)所述聲源身份從預(yù)先搭建的檢索平臺(tái)中確定目標(biāo)檢索平臺(tái)；

所述根據(jù)所述教學(xué)素材查詢指令查詢與所述教學(xué)互動(dòng)音頻信息匹配的目標(biāo)素材包括：

根據(jù)所述教學(xué)素材查詢指令從所述目標(biāo)檢索平臺(tái)查詢所述目標(biāo)素材。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述確定所述教學(xué)互動(dòng)音頻信息對(duì)應(yīng)的聲源身份包括：

確定所述教學(xué)互動(dòng)音頻信息對(duì)應(yīng)的目標(biāo)采集方向；

在所述目標(biāo)采集方向?yàn)轭A(yù)設(shè)方向的情況下，確定所述教學(xué)互動(dòng)音頻信息對(duì)應(yīng)的聲源身份為教師；

在所述目標(biāo)采集方向不是所述預(yù)設(shè)方向的情況下，確定所述教學(xué)互動(dòng)音頻信息對(duì)應(yīng)的聲源身份為學(xué)生。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述目標(biāo)素材添加至當(dāng)前正在展示的教學(xué)課件中包括：

將所述目標(biāo)素材以圖層的方式添加至所述教學(xué)課件中的最頂層圖像幀中。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述將所述目標(biāo)素材添加至當(dāng)前正在展示的教學(xué)課件中包括：

確定是否接收到第一添加指令，所述第一添加指令為根據(jù)用戶的觸發(fā)操作生成的指令；

在接收到所述第一添加指令的情況下，將所述目標(biāo)素材添加至所述教學(xué)課件中。

8.根據(jù)權(quán)利要求1-7任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

確定是否接收到用戶觸發(fā)的第二添加指令，所述第二添加指令用于指示將所述教學(xué)互動(dòng)音頻信息和/或課堂錄像信息添加至所述教學(xué)課件中，所述課堂錄像信息包括由錄像裝置采集的當(dāng)前課堂的上課錄像；

在接收到所述第二添加指令的情況下，將所述教學(xué)互動(dòng)音頻信息和/或所述課堂錄像信息添加至所述教學(xué)課件中。