[發明專利]一種遠程教學互動方法、服務器、終端以及系統

有效

• 申請號: 201910341620.4
• 申請日: 2019-04-26
• 公開（公告）號: CN110033659B
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 譚星;舒景辰;梁光;張岱;王正博
• 申請（專利權）人: 北京大米科技有限公司
• 主分類號: G09B5/14
• 分類號: G09B5/14;G09B5/06
• 代理公司: 北京恒博知識產權代理有限公司 11528
• 代理人: 范勝祥

1.一種遠程教學互動方法，其特征在于，所述方法包括：

接收來自第一終端的第一教學流媒體視頻，所述第一教學流媒體視頻包括第一教學視頻數據和第一教學音頻數據；

提取所述第一教學視頻數據中的第一視頻幀，依據所述第一視頻幀得到第一表情信息；

將所述第一教學音頻數據轉換得到第一語音文本信息，根據所述第一語音文本信息得到第一語義信息，所述第一語義信息包含所述第一語音文本信息的直譯，且結合當前教學的語境以及教學語氣得到的語音含義；

根據所述第一表情信息和所述第一語義信息得到展示內容，所述展示內容為教學評價；

將所述展示內容推送至第二終端進行顯示。

2.根據權利要求1所述的方法，其特征在于，所述教學評價包括正面評價和/或負面評價；

在所述第一表情信息表示高興和/或所述第一語義信息表示表揚的情況下，所述教學評價為正面評價；

或者在所述第一表情信息表示悲傷和/或所述第一語義信息表示批評的情況下，所述教學評價為負面評價。

3.根據權利要求1所述的方法，其特征在于，所述接收來自第一終端的教學流媒體視頻之前包括：

獲取預設時間段內的教學視頻，通過所述教學視頻得到教師、學生和/或家長的表情數據庫以及語音數據庫；

將所述教師、學生和/或家長的表情數據庫作為表情訓練數據并根據所述教師、學生和/或家長的身份信息進行表情大數據訓練，得到所述教師、學生和/或家長的專屬表情訓練模型；

將所述教師、學生和/或家長的語音數據庫作為語音訓練數據，并根據所述教師、學生和/或家長的身份信息進行語音大數據訓練，得到所述教師、學生和/或家長的專屬語音訓練模型；

存儲所述教師、學生和/或家長的所述專屬表情訓練模型和所述專屬語音訓練模型，并標記所述專屬表情訓練模型和所述專屬語音訓練模型對應的所述教師、學生和/或家長的標識。

4.根據權利要求3所述的方法，其特征在于，所述依據所述第一視頻幀得到第一表情信息包括：

對所述第一視頻幀進行預處理提取出面部特征，根據所述面部特征得到實時表情信息；

根據所述第一教學視頻數據中攜帶的所述教師、學生和/或家長標識查詢所述第一終端對應教師、學生和/或家長的專屬表情訓練模型；

將所述教師、學生和/或家長的所述實時表情信息輸入到所述教師、學生和/或家長的所述專屬表情訓練模型中，經過識別后得到所述第一表情信息。

5.根據權利要求4所述的方法，其特征在于，所述根據所述第一教學音頻數據轉換得到第一語音文本信息包括：

根據所述第一教學視頻數據中攜帶的所述教師、學生和/或家長標識查詢所述第一終端對應教師、學生和/或家長的專屬語音訓練模型；

將所述第一教學音頻數據輸入到所述專屬語音訓練模型中，經過識別后得到所述教師、學生和/或家長的語音；

根據所述教師、學生和/或家長的語音轉換得到所述第一語音文本信息。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

接收來自第二終端發送的第二教學流媒體視頻，所述第二教學流媒體視頻包括第二教學視頻數據和第二教學音頻數據；

提取所述第二教學視頻數據中的第二視頻幀，并依據所述第二視頻幀得到第二表情信息；

將所述第二教學音頻數據轉換得到第二語音文本信息，根據所述第二語音文本信息得到第二語義信息；

根據所述第二表情信息和所述第二語義信息得到反饋信息；

將所述反饋信息推送至第一終端進行顯示，和/或，將預先存儲的與所述反饋信息對應的教學建議或者試題發送至所述第一終端和/或第二終端。