[發(fā)明專利]一種面向教學(xué)實(shí)驗(yàn)的虛實(shí)融合機(jī)器教師教學(xué)方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011608282.5
• 申請日: 2020-12-30
• 公開（公告）號(hào): CN112732075B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 譚德政;潘志庚
• 申請（專利權(quán)）人: 佛山科學(xué)技術(shù)學(xué)院
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06T13/40;G06T19/00;G06V20/20;G06V40/10;G06V10/25;B25J9/16;B25J11/00;G06Q50/20
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 葉潔勇

本發(fā)明公開了一種面向教學(xué)實(shí)驗(yàn)的虛實(shí)融合機(jī)器教師教學(xué)方法及系統(tǒng)，通過虛擬3D機(jī)器人在進(jìn)行抓取、轉(zhuǎn)身、移動(dòng)等動(dòng)作時(shí)，通過先前用Maya中制作好的行為動(dòng)畫，在Unity中獲取該動(dòng)作的位姿信息，形成數(shù)據(jù)流，用無線串口通訊的方法實(shí)時(shí)傳輸?shù)秸鎸?shí)教師的樹莓派控制板中；機(jī)器人接收到上位機(jī)傳來的位姿信息，則通過總線控制各個(gè)關(guān)節(jié)的舵機(jī)運(yùn)動(dòng)，實(shí)現(xiàn)虛擬與現(xiàn)實(shí)教師實(shí)時(shí)同步，并在真實(shí)場景中完成提示、協(xié)助、運(yùn)動(dòng)等功能；既能得到好的實(shí)驗(yàn)效果，又能給予學(xué)生真實(shí)的交互感和沉浸感，指導(dǎo)作用更加明顯，降低了實(shí)驗(yàn)中的危險(xiǎn)性，使得實(shí)驗(yàn)過程更簡單，更安全。

技術(shù)領(lǐng)域

本發(fā)明涉及虛擬現(xiàn)實(shí)、虛實(shí)融合、教育型機(jī)器人與交互式機(jī)器人技術(shù)領(lǐng)域，具體涉及一種面向教學(xué)實(shí)驗(yàn)的虛實(shí)融合機(jī)器教師教學(xué)方法及系統(tǒng)。

背景技術(shù)

隨著現(xiàn)今硬件條件的不斷提升，虛擬現(xiàn)實(shí)行業(yè)將又處于一段新的前進(jìn)浪潮。對于學(xué)校的實(shí)驗(yàn)教學(xué)環(huán)境中，以前許多具備危險(xiǎn)性，并且實(shí)驗(yàn)器材和實(shí)驗(yàn)耗材緊缺的化學(xué)、物理、生物等實(shí)驗(yàn)，現(xiàn)在都可以通過虛擬現(xiàn)實(shí)的技術(shù)還原到虛擬場景中，但畢竟是“虛擬的”，是“摸不著的”，故存在交互性不強(qiáng)、沉浸感不足、老師指導(dǎo)困難等的問題。

目前的虛實(shí)融合的場景一般把現(xiàn)實(shí)中較易獲得的、危險(xiǎn)性較低的、成本不高的實(shí)驗(yàn)材料，常見的物體可使用真實(shí)的物體。但具備一定危險(xiǎn)性的、成本較高的材料都使用虛擬生成。類似的，還可以根據(jù)需求制作不同的實(shí)驗(yàn)場景，比如化學(xué)的高錳酸鉀實(shí)驗(yàn)、物理的電磁感應(yīng)實(shí)驗(yàn)、生物的原核細(xì)胞制作實(shí)驗(yàn)等等。至此虛實(shí)融合的場景就完成了，學(xué)生可根據(jù)需求在預(yù)設(shè)的場景中進(jìn)行相應(yīng)的實(shí)驗(yàn)。

在現(xiàn)有技術(shù)中在，虛實(shí)融合的整體實(shí)驗(yàn)環(huán)境分為屏幕里的虛擬場景和桌面上的真實(shí)場景，兩個(gè)場景實(shí)時(shí)同步?？梢钥吹阶烂嫔系恼鎸?shí)載玻片和燒杯都是空的，實(shí)驗(yàn)開始后，隨著實(shí)驗(yàn)流程的進(jìn)行，從屏幕里可以看到原本空無一物的載玻片上會(huì)出現(xiàn)虛擬的標(biāo)本，燒杯中會(huì)出現(xiàn)虛擬的試劑。機(jī)器人教師會(huì)在實(shí)驗(yàn)的過程中，實(shí)時(shí)給予指導(dǎo)以及協(xié)助學(xué)生完成實(shí)驗(yàn)。試想這么一個(gè)場景：在一個(gè)較為復(fù)雜的實(shí)驗(yàn)中，需要一個(gè)同學(xué)操作實(shí)驗(yàn)儀器，一個(gè)同學(xué)進(jìn)行試劑攪拌，一個(gè)同學(xué)負(fù)責(zé)數(shù)據(jù)記錄，還要時(shí)刻注意實(shí)驗(yàn)過程的安全性；該機(jī)器人教師的存在，可以雖然使得實(shí)驗(yàn)過程更簡單，更安全，但是操作繁瑣而且需要多人合作。

現(xiàn)有技術(shù)虛實(shí)融合的主要功能分為提示和協(xié)助部分。①提示部分：該機(jī)器人可以將實(shí)驗(yàn)流程和實(shí)驗(yàn)過程涉及到的重要知識(shí)點(diǎn)通過語音的形式給予用戶反饋、若用戶在實(shí)驗(yàn)過程中出現(xiàn)錯(cuò)誤和危險(xiǎn)操作，機(jī)器人還會(huì)通過手指指向錯(cuò)誤點(diǎn)，頭部望向錯(cuò)誤點(diǎn)的提示方法，反饋給用戶相應(yīng)的信息；②協(xié)助部分：該機(jī)器人可以充當(dāng)“多余的手”，即可以協(xié)助用戶完成一些費(fèi)時(shí)、或需要多人操作的實(shí)驗(yàn)過程，如試劑攪拌、試管夾持、數(shù)據(jù)監(jiān)控、物體放置等。值得注意的是，以上所有動(dòng)作，虛擬場景和真實(shí)場景的機(jī)器人教師都是實(shí)時(shí)同步去完成的。

發(fā)明內(nèi)容

本發(fā)明的目的在于提出一種面向教學(xué)實(shí)驗(yàn)的虛實(shí)融合機(jī)器教師教學(xué)方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中所存在的一個(gè)或多個(gè)技術(shù)問題，至少提供一種有益的選擇或創(chuàng)造條件。

本發(fā)明通過虛擬教師（虛擬3D機(jī)器人）在進(jìn)行抓取、轉(zhuǎn)身、移動(dòng)等動(dòng)作時(shí)，通過先前用Maya中制作好的行為動(dòng)畫，在Unity中獲取該動(dòng)作的位姿信息，形成數(shù)據(jù)流，用無線串口通訊的方法實(shí)時(shí)傳輸?shù)秸鎸?shí)教師的樹莓派控制板中；真實(shí)教師（機(jī)器人）接收到上位機(jī)傳來的位姿信息，則通過總線控制各個(gè)關(guān)節(jié)的舵機(jī)運(yùn)動(dòng)，實(shí)現(xiàn)虛擬與現(xiàn)實(shí)教師實(shí)時(shí)同步，并在真實(shí)場景中完成提示、協(xié)助、運(yùn)動(dòng)等功能。

為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一方面，提供一種面向教學(xué)實(shí)驗(yàn)的虛實(shí)融合機(jī)器教師教學(xué)方法，所述方法包括以下步驟：

S100，定位實(shí)驗(yàn)場景，讀取行為動(dòng)畫；所述行為動(dòng)畫通過MAYA軟件錄制抓取、轉(zhuǎn)身、移動(dòng)的動(dòng)作生成；所述行為動(dòng)畫包括抓取、轉(zhuǎn)身、移動(dòng)的動(dòng)作動(dòng)畫；

S200，獲取行為動(dòng)畫中動(dòng)作的位姿信息；位姿信息包括抓取、轉(zhuǎn)身、移動(dòng)動(dòng)作的位姿信息；