[發(fā)明專(zhuān)利]一種基于混合現(xiàn)實(shí)技術(shù)的虛擬人機(jī)示教系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710247132.8
• 申請(qǐng)日: 2017-04-17
• 公開(kāi)（公告）號(hào): CN107122045A
• 公開(kāi)（公告）日: 2017-09-01
• 發(fā)明（設(shè)計(jì)）人: 楊辰光;滕濤;劉小峰;賀波濤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華南理工大學(xué);常州普旺科技有限公司
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01;G06T19/00;G09B9/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于混合現(xiàn)實(shí)技術(shù)的虛擬人機(jī)示教系統(tǒng)，其特征在于：所述系統(tǒng)由計(jì)算機(jī)主機(jī)、全息投影系統(tǒng)、視覺(jué)傳感器、慣性傳感器集成在一起,全息投影系統(tǒng)、視覺(jué)傳感器、慣性傳感器通過(guò)有線方式連接計(jì)算機(jī)主機(jī)，完成數(shù)據(jù)通訊。

2.根據(jù)權(quán)利1所述的一種基于混合現(xiàn)實(shí)技術(shù)的虛擬人機(jī)示教系統(tǒng)，其特征在于：所述計(jì)算機(jī)主機(jī)的中央處理系統(tǒng)可以是任意的中央處理器（CPU）、圖形處理器（GPU）。

3.根據(jù)權(quán)利1所述的一種基于混合現(xiàn)實(shí)技術(shù)的虛擬人機(jī)示教系統(tǒng)，其特征在于：所述全息投影系統(tǒng)負(fù)責(zé)接收計(jì)算機(jī)主機(jī)發(fā)送過(guò)來(lái)的圖像信息并在投影區(qū)投影出虛擬圖像。

4.根據(jù)權(quán)利1所述的一種基于混合現(xiàn)實(shí)技術(shù)的虛擬人機(jī)示教系統(tǒng)，其特征在于：所述視覺(jué)傳感器為具有三維識(shí)別功能的攝像頭與深度傳感器，用于采集物體的空間位置信息和運(yùn)動(dòng)信息。

5.根據(jù)權(quán)利1所述的一種基于混合現(xiàn)實(shí)技術(shù)的虛擬人機(jī)示教系統(tǒng)，其特征在于：所述慣性測(cè)量單元為加速度計(jì)與陀螺儀，用于采集設(shè)備自身的位置與姿態(tài)信息。

6.根據(jù)權(quán)利3所述的一種基于混合現(xiàn)實(shí)技術(shù)的虛擬人機(jī)示教系統(tǒng)，其特征在于：所述投影區(qū)投影虛擬圖像內(nèi)容主要是但不限于：3D虛擬示教動(dòng)畫(huà)、控制菜單。

7.根據(jù)權(quán)利3所述的一種基于混合現(xiàn)實(shí)技術(shù)的虛擬人機(jī)示教系統(tǒng)，其特征在于：所述投影區(qū)提供一個(gè)人與示教系統(tǒng)交互的區(qū)域，交互形式包含但不限于：人通過(guò)不同的手勢(shì)與虛擬投影區(qū)進(jìn)行交互。

8.根據(jù)權(quán)利6所述的一種基于混合現(xiàn)實(shí)技術(shù)的虛擬人機(jī)示教系統(tǒng)，其特征在于：示教動(dòng)畫(huà)可以是任意的，形式多樣的，內(nèi)容包含但不限于：加工裝配等工業(yè)任務(wù)。

9.一種基于混合現(xiàn)實(shí)技術(shù)的虛擬人機(jī)示教系統(tǒng)的實(shí)施方法，其特征在于：所述方法包括如下內(nèi)容：

①該設(shè)備需要佩戴在操作人員頭上，視覺(jué)傳感器采集空間的三維圖像信息，這些攝像頭能夠獲取不同角度的深度圖，再對(duì)不同的深度圖進(jìn)行累積，從而借助立體視覺(jué)等技術(shù)由計(jì)算機(jī)主機(jī)中央處理系統(tǒng)計(jì)算出周?chē)h(huán)境的精確的三維模型；

②獲取了周?chē)娜S場(chǎng)景模型后，計(jì)算機(jī)中央處理系統(tǒng)生成圖像信息，并控制全息投影系統(tǒng)透過(guò)全息透視鏡在被操作對(duì)象的上方投影出一個(gè)投影區(qū)，內(nèi)容包括3D虛擬示教動(dòng)畫(huà)和控制菜單，慣性測(cè)量單元可以追蹤操作人員的頭部移動(dòng)獲取位置與姿勢(shì)信息，當(dāng)操作人員視線移動(dòng)的時(shí)候投影的虛擬區(qū)域可能出了操作人員的視野范圍，操作人員可以移動(dòng)頭部位置轉(zhuǎn)換視角使得投影區(qū)重新進(jìn)入視野范圍；

③視覺(jué)傳感器可以實(shí)時(shí)捕捉人手的位置并識(shí)別人手的手勢(shì)，當(dāng)人手進(jìn)入投影的“控制菜單”區(qū)域時(shí)，交互方式可以是但不限于：手勢(shì)動(dòng)作為連續(xù)的“點(diǎn)擊動(dòng)作”與“釋放動(dòng)作”，這樣即為一次“有效點(diǎn)擊”，經(jīng)過(guò)一次“有效點(diǎn)擊”則選中控制菜單對(duì)應(yīng)區(qū)域的控制命令，視覺(jué)傳感器將此信息傳遞給計(jì)算機(jī)主機(jī)中央處理系統(tǒng)，根據(jù)事先編程好的所對(duì)應(yīng)的控制指令計(jì)算機(jī)主機(jī)中央處理系統(tǒng)控制投影系統(tǒng)投影出新的內(nèi)容；

操作人員還可以與示教動(dòng)畫(huà)交互，當(dāng)視覺(jué)傳感器檢測(cè)到人手進(jìn)入3D虛擬示教動(dòng)畫(huà)區(qū)域時(shí)，若人手完成一次“點(diǎn)擊動(dòng)作”則計(jì)算機(jī)主機(jī)中央處理系統(tǒng)控制全息投影系統(tǒng)使3D虛擬動(dòng)畫(huà)暫停，若視覺(jué)傳感器檢測(cè)到人手“點(diǎn)擊”狀態(tài)沒(méi)有結(jié)束則操作人員可以拖動(dòng)3D虛擬動(dòng)畫(huà)的位置與角度，使得示教動(dòng)畫(huà)實(shí)現(xiàn)360度展現(xiàn)，當(dāng)視覺(jué)傳感器檢測(cè)到人手的“釋放動(dòng)作”時(shí)代表“點(diǎn)擊動(dòng)作”結(jié)束，拖動(dòng)作用結(jié)束，3D虛擬動(dòng)畫(huà)繼續(xù)進(jìn)行；

④計(jì)算機(jī)主機(jī)中央處理系統(tǒng)實(shí)時(shí)地接收視覺(jué)傳感器采集的圖像信息進(jìn)行處理和實(shí)時(shí)地構(gòu)造投影圖像并發(fā)送給全息投影系統(tǒng)進(jìn)行投影；另一方面在識(shí)別出人手進(jìn)入投影區(qū)域且在投影控制區(qū)有人為控制指令產(chǎn)生時(shí)，給全息投影系統(tǒng)發(fā)送相應(yīng)的控制信號(hào)。