[發明專利]一種教育機器人與課堂教學的控制方法及系統

有效

• 申請號: 202011510458.3
• 申請日: 2020-12-18
• 公開（公告）號: CN112614400B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 何宋西瑩
• 申請（專利權）人: 重慶師范大學;重慶魯班機器人技術研究院有限公司
• 主分類號: G09B19/00
• 分類號: G09B19/00;G06K9/00;G06Q50/20
• 代理公司: 重慶強大凱創專利代理事務所(普通合伙) 50217
• 代理人: 隋金艷

1.一種教育機器人與課堂教學的控制系統，包括多媒態雙臂教育機器人、多媒態服務器、多媒態學生端和多媒態教師端；

其特征在于，多媒態雙臂教育機器人包括機器人本體、多媒態通信模塊、多媒態采集模塊、多媒態信息處理模塊、教學模塊和狀態分析模塊；

多媒態服務器存儲有教育資源數據和教學控制模型；教育資源數據包括案例庫、學生特征庫和教師特征庫；

狀態分析模塊與多媒態服務器相連，狀態分析模塊內部存放有狀態分析模型；狀態分析模型包括學生表情識別分析模型、學生學習狀態分析模型；

多媒態采集模塊用于采集教師或學生的聲波信號和圖像信號；多媒態信息處理模塊用于從多媒態采集模塊獲取教師或學生的聲波信號和圖像信號，對聲波信號進行處理，生成語音信息，并對語音信息進行識別，生成文字信息，對圖像信號進行處理，生成圖像信息；多媒態通信模塊用于將語音信息、文字信息或圖像信息發送至多媒態教師端或多媒態學生端；

多媒態學生端和多媒態教師端還用于采集語音信息和文字信息，并選擇多媒態通信模式；多媒態通信模式包括廣播式和雙向式；雙向式包括一對一、一對多和多對多；

多媒態教師端和多媒態學生端用于向多媒態通信模塊發送教學模式指令，教學模式指令包括課堂教學模式和課堂輔導模式；課堂教學模式包括教師主講式、機器人輔助式和機器人主講式；機器人輔助式的類型包括討論式、個性化式和游戲式；

多媒態雙臂教育機器人包括進度控制模塊；進度控制模塊還用于在課堂討論中根據學生的發言順序將學生標記為n-1號發言用戶、n號發言用戶、n+1號發言用戶,其中n大于或等于2；

進度控制模塊還用于采集n-1號發言用戶的發言信息，基于n-1號發言用戶的發言信息提取關鍵詞，并統計關鍵詞出現的頻率，按出現頻率由高到低對關鍵詞進行排序；

進度控制模塊還用于采集n號發言用戶的發言信息，基于n號發言用戶的發言信息提取關鍵詞，并統計關鍵詞出現的頻率，按出現頻率由高到低對關鍵詞進行排序；

進度控制模塊還用于對比n-1號發言用戶的關鍵詞和n號發言用戶的關鍵詞，判斷n號發言用戶的關鍵詞中，出現頻率高的關鍵詞是否全部為n-1號發言用戶出現頻率低的關鍵詞或n-1號發言用戶沒有出現的關鍵詞；如果是，從采集模塊獲取n號發言用戶發言時，n-1號發言用戶和n號發言用戶的圖像信息，基于圖像信息判斷n-1號發言用戶和n號發言用戶的表情是否符合預設表情，如果符合預設表情，進行記錄；

進度控制模塊還用于在n號發言用戶發言完畢后進行計時，判斷n號發言用戶與n+1號發言用戶的發言間隔，如果發言間隔小于閾值，獲取n+1號發言用戶的圖像信息，基于圖像信息判斷n+1號發言用戶的表情是否符合預設表情，如果符合預設表情，進行記錄；

進度控制模塊還用于在n-1號發言用戶、n1號發言用戶和n+1號發言用戶的表情變化均超過預設表情時，生成討論偏離提醒；

教師主講式中，狀態分析模塊用于分析學生的學習情況并反饋，教學模塊用于基于學生的學習情況對學生進行輔導和提示；

機器人主講式中，教學模塊用于播放預設的教學內容庫中的內容進行教學講解，并從多媒態信息處理模塊獲取學生的語音信息、文字信息和圖像信息，對學生的學習過程進行跟蹤；教學內容庫中的內容播放完畢后，自動進入課堂輔導模式。

2.根據權利要求1所述的教育機器人與課堂教學的控制系統，其特征在于：教學模塊還用于獲取多媒態教師端發送的教師課堂講解內容的文字信息，教學模塊還用于分析文字信息，生成講解結果，基于講解結果和預設的教學內容對學生進行解答。

3.根據權利要求2所述的教育機器人與課堂教學的控制系統，其特征在于：所述多媒態雙臂教育機器人還包括廣播模塊，廣播模塊還用于從多媒態信息處理模塊獲取語音信息并播放。

4.根據權利要求3所述的教育機器人與課堂教學的控制系統，其特征在于：多媒態通信模塊還用于從多媒態服務器獲取案例庫、學生特征庫和教師特征庫的更新數據。

5.根據權利要求4所述的教育機器人與課堂教學的控制系統，其特征在于：還包括多媒態端，多媒態教師端還用于向多媒態通信模塊發送多媒體控制指令，多媒態通信模塊還用于根據多媒體控制指令向多媒態端發送控制信號。

6.一種教育機器人與課堂教學的控制方法，其特征在于，包括如下步驟：

S1、多媒態學生端或多媒態教師端選擇教學模式，教學模式包括教師主講式、機器人主講式和機器人輔助式；當選擇教師主講式或機器人主講式時，轉跳到S3，當選擇機器人輔助式時，轉跳到S2；

S2、獲取機器人輔助式中的模式類型選擇信息，并轉跳到S3；模式類型選擇信息包括個性化式、討論式和游戲式；

S3、多媒態雙臂教育機器人開始授課并采集學生學習時的學習狀態信息，學習狀態信息包括圖像信息、文字信息和語音信息；

S4、多媒態雙臂教育機器人基于學習時的圖像信息、文字信息和語音信息對學生的學習狀態進行分析；判斷學生是否狀態良好，狀態不良好包括發呆、東張西望和多動；當學生狀態不良好時，轉跳到S5，當學生狀態良好時，轉跳到S6；

S5、多媒態雙臂教育機器人對學生進行提醒，并在提醒后轉跳到S3；

S6、多媒態雙臂教育機器人向每一學生進行課堂測驗；

S7、多媒態雙臂教育機器人采集學生的學習結果信息，基于學習結果信息對學生的測驗結果進行分析；

S8、判斷單個學生答題正確率是否低于N1；如果低于，轉跳到S9，如果不低于，轉跳到S11；

S9、判斷答題正確率低于N1的學生測驗次數是否超過N次，如果超過轉跳到S14，如果不超過，轉跳到S10；

S10，對學生進行重新分組，調整教學方法，并轉跳到S1；

S11、判斷單個學生答題正確率是否低于N2，如果低于轉跳到S2，如果不低于，轉跳到S12；

S12、判斷單個學生答題正確率是否高于N3，如果不高于，轉跳到S13，如果高于，轉跳到S14；其中，N1＜N2＜N3；N1為60％，N2為80％，N3為90％；

S13、將答題正確率不高于N3的學生分入自習組；并轉跳到S6；

S14、獲取教師的總結并播放。