[發明專利]學伴機器人的控制方法、系統、設備及存儲介質

有效

• 申請號: 201910305140.2
• 申請日: 2019-04-16
• 公開（公告）號: CN110091335B
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 楊正大
• 申請（專利權）人: 上海平安智慧教育科技有限公司
• 主分類號: B25J11/00
• 分類號: B25J11/00;B25J9/16;G09B5/14
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 臧云霄;夏彬

本發明提供了一種學伴機器人的控制方法、系統、設備及存儲介質，所述方法包括：課程開始時，與課程對應的在線教室建立連接；課程進行中，實時接收和播放所述在線教室的媒體數據流，并實時采集用戶的視頻數據發送至所述在線教室；分析所述在線教室的媒體數據流中老師的手勢或語音指示，根據檢測到的特定指示觸發對應的第一控制指令；根據用戶的視頻數據分析用戶狀態，并根據所述用戶狀態觸發對應的第二控制指令。通過采用本發明的方案，將機器人的學伴功能與真人授課相結合，形成人機聯動效應的輔助學習功能，提高學習效果的同時提升用戶使用體驗。

技術領域

本發明涉及在線教育技術領域，尤其涉及一種學伴機器人的控制方法、系統、設備及存儲介質。

背景技術

教育機器人是由生產廠商專門開發的以激發學生學習興趣、培養學生綜合能力為目標的機器人成品、套裝或散件。目前市面上常見的教育機器人，多是在內部設定好既定的程序，根據學生的語音或其他輸入方式來選擇播放已有的視頻或音頻，因此，現有的智能機器人多是作為一個點播媒體的設備而存在，并不能很好地充當一個合格的學伴角色。

具體地，現有的教育機器人多存在如下缺點：

(1)語音交互能力弱：僅支持簡單的預設好的機械語音對話，語義識別能力有限，無法以符合兒童認知能力的方式進行互動交流，很難持續吸引兒童的學習興趣；

(2)設計較為粗暴：僅作為APP(應用程序)的另一個載體，簡單取代平板電腦或手機，而沒有很好地發揮機器人的屬性特征；

(3)削減了兒童的社會互動：社會互動是兒童認知發展的必要因素。而兒童陪伴機器人在取代父母及其他人員陪護的同時，也減少了兒童與他人的交流機會，使得兒童的交互變成了與“擬人”的機器人交互，不利于孩子的健康成長；

(4)無法彌補課后輔導的不足：外教資源及精力有限，無法給予學生進行個性化的輔導。

發明內容

針對現有技術中的問題，本發明的目的在于提供一種學伴機器人的控制方法、系統、設備及存儲介質，將機器人的學伴功能與真人授課相結合，形成人機聯動效應的輔助學習功能。

本發明實施例提供一種學伴機器人的控制方法，所述方法包括如下步驟：

課程開始時，與課程對應的在線教室建立連接；

課程進行中，實時接收和播放所述在線教室的媒體數據流，并實時采集用戶的視頻數據發送至所述在線教室；

分析所述在線教室的媒體數據流中老師的手勢或語音指示，根據檢測到的特定指示觸發對應的第一控制指令；

根據用戶的視頻數據分析用戶狀態，并根據所述用戶狀態觸發對應的第二控制指令。

可選地，所述根據檢測到的特定指示觸發對應的第一控制指令，包括如下步驟：

判斷檢測到的老師的特定指示的類別；

如果特定指示為特效類型，則判斷特定指示所對應的特效類別，播放對應的特效；

如果特定指示為獎勵類型，則累加用戶在當前課程中獲得的獎勵數。

可選地，將所述根據用戶的視頻數據分析用戶狀態，并根據所述用戶狀態觸發對應的第二控制指令，包括如下步驟：

從用戶圖像中提取人臉區域圖像；

如果無法從用戶圖像中提取人臉區域圖像或提取的人臉區域圖像不符合預設標準，則確定當前為非專注時間；

如果非專注時間連續超過預設時間閾值，則控制機器人的攝像頭轉動至采集到滿足預設標準的人臉區域圖像為止；

分析所述人臉區域圖像中用戶的狀態，如果滿足疲勞狀態條件，則觸發提醒指令。