[發明專利]一種虛擬現實遠程同步控制機器人的方法

在審

• 申請號: 202010185883.3
• 申請日: 2020-03-17
• 公開（公告）號: CN111383348A
• 公開（公告）日: 2020-07-07
• 發明（設計）人: 陳學超;王晨征;黃強;余張國;董岳;黃高
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06F3/01
• 代理公司: 南京智造力知識產權代理有限公司 32382
• 代理人: 張明明

本發明提供了一種虛擬現實遠程同步控制機器人的方法，將機器人所處真實環境的視頻數據、深度數據在Unity3D平臺中重建出深度場景，對深度場景和虛擬物體進行混合現實后，還原機器人所處真實場景的三維信息，并呈現在VR眼鏡中，操作者通過控制虛擬機器人運動，遠程同步控制機器人；本發明還可通過VR眼鏡的姿態，控制舵機轉動對應的角度，使得機器人的視角跟隨操作者頭部轉動，使得機器人在另一個可視范圍內的遠程同步控制；且通過對重建的虛擬物體表面和虛擬機器人各表面進行實時碰撞檢測，在機器人發生真正碰撞之前進行預警，減少對機器人的損傷。本發明可以真正還原出場景的三維信息，從而實現機器人虛擬現實遠程同步控制。

技術領域

本發明涉及機器人領域，具體涉及一種虛擬現實遠程同步控制機器人的方法。

背景技術

為了使得機器人能夠在復雜的環境下執行多樣的復雜的任務，現有技術利用人形機器人模仿或者跟隨遠端操作者的動作。為了方便操作者知道機器人所處的任務環境，需要遠程操作者高臨場感地、實時地同步人形機器人的視角。虛擬現實技術是實現高臨場感的最佳方案之一。

現有技術中，利用虛擬現實使得操作者可以遠程獲得機器人處的視覺，并具有較強的臨場感。但是這些所謂的“虛擬現實”只是簡單地將機器處兩個攝像頭獲得的視頻信息分別傳給VR眼鏡的左右眼，本質上就跟戴3D眼鏡看3D電影一樣，并沒有獲取三維信息(第三維是“深度”)，很難進行再利用。真正的虛擬現實，是已知物體/場景的三維信息，然后讓軟件渲染出人的左右眼視角分別看到這個物體/場景。然而這些使用在機器人上的“虛擬現實”，僅僅獲得了左右眼視角分別看到的物體/場景，卻沒能還原出物體/場景的三維信息，進行進一步利用。

發明內容

針對現有技術中存在不足，本發明提供了一種虛擬現實遠程同步控制機器人的方法，用于還原機器人所處真實場景的三維信息，實現虛擬現實遠程同步控制機器人。

本發明是通過以下技術手段實現上述技術目的的。

一種虛擬現實遠程同步控制機器人的方法，裝有Unity3D平臺的電腦導入機器人所處真實環境的視頻數據和深度數據，將所述視頻數據、深度數據在Unity3D平臺中重建出深度場景，對深度場景和虛擬物體進行混合現實后，呈現在VR眼鏡中；操作者根據混合現實里呈現的機器人所處真實環境，控制虛擬機器人運動，使得真實機器人進行相應的運動；所述混合現實的過程為：對于具有同樣深度值的視頻圖像區域，如果沒有比它深度更小的虛擬物體，則直接將這片區域投射到VR眼鏡的對應區域，否則將虛擬物體渲染后，再投射到VR眼鏡的對應區域。

進一步，在Unity3D平臺中將虛擬機器人各表面進行放大，對重建的虛擬物體表面和虛擬機器人各表面進行實時碰撞檢測，在真實機器人與所處真實環境發生真正碰撞之前進行預警。

更進一步，所述重建的虛擬物體是：利用所述深度數據對真實物體表面在立體相機里投影產生的二維圖像進行三維重建得到的。

進一步，所述Unity3D平臺采集VR眼鏡的姿態，控制舵機轉動對應的角度，使得機器人的視角跟隨操作者頭部轉動，實現機器人在另一個可視范圍內的虛擬現實遠程同步控制。

更進一步，所述VR眼鏡的姿態可用XYZ歐拉角表示為Unity3D平臺將VR眼鏡的姿態傳輸給工控機，工控機控制舵機的轉動軸轉動對應的角度。

進一步，所述渲染具體為：把各個虛擬物體根據虛擬攝像頭的不同位置和角度，投影成二維圖像顯示在VR眼鏡里。

進一步，所述深度場景是結合所述視頻數據還原得到的，所述視頻數據每一幀均為一幅二維圖像，二維圖像每一個區域存在對應的深度值。

更進一步，所述深度值為：二維圖像每一個區域在立體相機主光軸上的投影與立體相機中心之間的距離。