[發明專利]一種虛擬現實遠程同步控制機器人的方法

在審

• 申請號: 202010185883.3
• 申請日: 2020-03-17
• 公開（公告）號: CN111383348A
• 公開（公告）日: 2020-07-07
• 發明（設計）人: 陳學超;王晨征;黃強;余張國;董岳;黃高
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06F3/01
• 代理公司: 南京智造力知識產權代理有限公司 32382
• 代理人: 張明明

1.一種虛擬現實遠程同步控制機器人的方法，其特征在于，裝有Unity3D平臺的電腦導入機器人所處真實環境的視頻數據和深度數據，將所述視頻數據、深度數據在Unity3D平臺中重建出深度場景，對深度場景和虛擬物體進行混合現實后，呈現在VR眼鏡中；操作者根據混合現實里呈現的機器人所處真實環境，控制虛擬機器人運動，使得真實機器人進行相應的運動；所述混合現實的過程為：對于具有同樣深度值的視頻圖像區域，如果沒有比它深度更小的虛擬物體，則直接將這片區域投射到VR眼鏡的對應區域，否則將虛擬物體渲染后，再投射到VR眼鏡的對應區域。

2.根據權利要求1所述的虛擬現實遠程同步控制機器人的方法，其特征在于，在Unity3D平臺中將虛擬機器人各表面進行放大，對重建的虛擬物體表面和虛擬機器人各表面進行實時碰撞檢測，在真實機器人與所處真實環境發生真正碰撞之前進行預警。

3.根據權利要求2所述的虛擬現實遠程同步控制機器人的方法，其特征在于，所述重建的虛擬物體是：利用所述深度數據對真實物體表面在立體相機里投影產生的二維圖像進行三維重建得到的。

4.根據權利要求1所述的虛擬現實遠程同步控制機器人的方法，其特征在于，所述Unity3D平臺采集VR眼鏡的姿態，控制舵機轉動對應的角度，使得機器人的視角跟隨操作者頭部轉動，實現機器人在另一個可視范圍內的虛擬現實遠程同步控制。

5.根據權利要求4所述的虛擬現實遠程同步控制機器人的方法，其特征在于，所述VR眼鏡的姿態可用XYZ歐拉角表示為(ψ，θ，)，Unity3D平臺將VR眼鏡的姿態傳輸給工控機，工控機控制舵機的轉動軸轉動對應的角度。

6.根據權利要求1所述的虛擬現實遠程同步控制機器人的方法，其特征在于，所述渲染具體為：把各個虛擬物體根據虛擬攝像頭的不同位置和角度，投影成二維圖像顯示在VR眼鏡里。

7.根據權利要求1所述的虛擬現實遠程同步控制機器人的方法，其特征在于，所述深度場景是結合所述視頻數據還原得到的，所述視頻數據每一幀均為一幅二維圖像，二維圖像每一個區域存在對應的深度值。

8.根據權利要求7所述的虛擬現實遠程同步控制機器人的方法，其特征在于，所述深度值為：二維圖像每一個區域在立體相機主光軸上的投影與立體相機中心之間的距離。