[發(fā)明專利]學(xué)伴機(jī)器人的控制方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910305140.2
• 申請(qǐng)日: 2019-04-16
• 公開(kāi)（公告）號(hào): CN110091335B
• 公開(kāi)（公告）日: 2021-05-07
• 發(fā)明（設(shè)計(jì)）人: 楊正大
• 申請(qǐng)（專利權(quán)）人: 上海平安智慧教育科技有限公司
• 主分類號(hào): B25J11/00
• 分類號(hào): B25J11/00;B25J9/16;G09B5/14
• 代理公司: 上海隆天律師事務(wù)所 31282
• 代理人: 臧云霄;夏彬

1.一種學(xué)伴機(jī)器人的控制方法，其特征在于，包括如下步驟：

課程開(kāi)始時(shí)，與課程對(duì)應(yīng)的在線教室建立連接；

課程進(jìn)行中，實(shí)時(shí)接收和播放所述在線教室的媒體數(shù)據(jù)流，并實(shí)時(shí)采集用戶的視頻數(shù)據(jù)發(fā)送至所述在線教室；

分析所述在線教室的媒體數(shù)據(jù)流中老師的手勢(shì)或語(yǔ)音指示，根據(jù)檢測(cè)到的特定指示觸發(fā)對(duì)應(yīng)的第一控制指令；

根據(jù)用戶的視頻數(shù)據(jù)分析用戶狀態(tài)，并根據(jù)所述用戶狀態(tài)觸發(fā)對(duì)應(yīng)的第二控制指令；

所述根據(jù)用戶的視頻數(shù)據(jù)分析用戶狀態(tài)，并根據(jù)所述用戶狀態(tài)觸發(fā)對(duì)應(yīng)的第二控制指令，包括如下步驟：

從用戶圖像中提取人臉區(qū)域圖像；

如果無(wú)法從用戶圖像中提取人臉區(qū)域圖像或提取的人臉區(qū)域圖像不符合預(yù)設(shè)標(biāo)準(zhǔn)，則確定當(dāng)前為非專注時(shí)間；

如果非專注時(shí)間連續(xù)超過(guò)預(yù)設(shè)時(shí)間閾值，則控制機(jī)器人的攝像頭轉(zhuǎn)動(dòng)至采集到滿足預(yù)設(shè)標(biāo)準(zhǔn)的人臉區(qū)域圖像為止；

分析所述人臉區(qū)域圖像中用戶的狀態(tài)，如果滿足疲勞狀態(tài)條件，則觸發(fā)提醒指令；

所述根據(jù)用戶的視頻數(shù)據(jù)分析用戶狀態(tài)，并根據(jù)所述用戶狀態(tài)觸發(fā)對(duì)應(yīng)的第二控制指令，還包括如下步驟：

統(tǒng)計(jì)用戶的人臉區(qū)域圖像中開(kāi)口且接收到語(yǔ)音數(shù)據(jù)的互動(dòng)時(shí)長(zhǎng)，并計(jì)算互動(dòng)時(shí)長(zhǎng)；

分析用戶的人臉區(qū)域圖像，統(tǒng)計(jì)用戶的正向表情次數(shù)；

根據(jù)用戶的互動(dòng)時(shí)長(zhǎng)、正向表情次數(shù)和當(dāng)前課程已進(jìn)行時(shí)間的比值，計(jì)算互動(dòng)指數(shù)和正向表情指數(shù)；

根據(jù)預(yù)設(shè)的互動(dòng)指數(shù)、正向表情指數(shù)和活躍度等級(jí)的映射關(guān)系，確定用戶的活躍度等級(jí)；

將用戶的活躍度等級(jí)通過(guò)所述在線教室發(fā)送至老師端。

2.根據(jù)權(quán)利要求1所述的學(xué)伴機(jī)器人的控制方法，其特征在于，所述根據(jù)檢測(cè)到的特定指示觸發(fā)對(duì)應(yīng)的第一控制指令，包括如下步驟：

判斷檢測(cè)到的老師的特定指示的類別；

如果特定指示為特效類型，則判斷特定指示所對(duì)應(yīng)的特效類別，播放對(duì)應(yīng)的特效；

如果特定指示為獎(jiǎng)勵(lì)類型，則累加用戶在當(dāng)前課程中獲得的獎(jiǎng)勵(lì)數(shù)。

3.根據(jù)權(quán)利要求1所述的學(xué)伴機(jī)器人的控制方法，其特征在于，還包括如下步驟：

課程結(jié)束后，統(tǒng)計(jì)用戶在課程中獲得的獎(jiǎng)勵(lì)次數(shù)、非專注時(shí)間時(shí)長(zhǎng)、疲勞狀態(tài)時(shí)長(zhǎng)和活躍度等級(jí)，生成課程評(píng)測(cè)報(bào)告。

4.根據(jù)權(quán)利要求1所述的學(xué)伴機(jī)器人的控制方法，其特征在于，還包括如下步驟：

課程開(kāi)始前，獲取用戶的歷史活躍度等級(jí)，并通過(guò)所述在線教室發(fā)送至老師端；

課程進(jìn)行中，獲取用戶的當(dāng)前活躍度等級(jí)；

如果用戶的當(dāng)前活躍度等級(jí)相比于歷史活躍度的等級(jí)提高超過(guò)預(yù)設(shè)閾值，則通過(guò)所述在線教室發(fā)送獎(jiǎng)勵(lì)提醒至所述在線教室；

如果用戶的當(dāng)前活躍度等級(jí)相比于歷史活躍度的等級(jí)降低超過(guò)預(yù)設(shè)閾值，則播放互動(dòng)提醒。

5.根據(jù)權(quán)利要求1所述的學(xué)伴機(jī)器人的控制方法，其特征在于，還包括如下步驟：

獲取用戶的歷史課程數(shù)據(jù)，根據(jù)用戶的歷史課程類別和用戶的歷史課程進(jìn)度，為用戶推薦課程；

獲取到用戶對(duì)課程的選擇，為用戶預(yù)訂對(duì)應(yīng)課程。

6.根據(jù)權(quán)利要求5所述的學(xué)伴機(jī)器人的控制方法，其特征在于，還包括如下步驟：

于預(yù)訂的課程開(kāi)始前第一時(shí)間點(diǎn)，向用戶發(fā)出預(yù)習(xí)提醒；

如果接收到用戶的預(yù)習(xí)指令，則查詢和顯示預(yù)訂的課程所對(duì)應(yīng)的教材；

于預(yù)訂的課程開(kāi)始前第二時(shí)間點(diǎn)，向用戶發(fā)出上課提醒；

于課程結(jié)束后的第三時(shí)間點(diǎn)，向用戶發(fā)出復(fù)習(xí)提醒；

如果接收到用戶的復(fù)習(xí)指令，則判斷用戶的復(fù)習(xí)選擇為教材復(fù)習(xí)或視頻復(fù)習(xí)；

如果是教材復(fù)習(xí)，則查詢和顯示預(yù)訂的課程所對(duì)應(yīng)的教材；

如果是視頻復(fù)習(xí)，則播放錄制的課程視頻。

7.根據(jù)權(quán)利要求6所述的學(xué)伴機(jī)器人的控制方法，其特征在于，所述播放錄制的課程視頻時(shí)，還包括采集用戶的語(yǔ)音，對(duì)語(yǔ)音進(jìn)行語(yǔ)義識(shí)別，獲取用戶的視頻觀看指令，以控制所述課程視頻的播放進(jìn)程。