[發(fā)明專利]一種基于虛擬現(xiàn)實(shí)的雙臂機(jī)器人遠(yuǎn)程實(shí)時(shí)控制系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110556471.0
• 申請(qǐng)日: 2021-05-21
• 公開（公告）號(hào): CN113282173B
• 公開（公告）日: 2023-01-03
• 發(fā)明（設(shè)計(jì)）人: 溫淑煥;賈仕東;方斌;孫富春;劉鑫
• 申請(qǐng)（專利權(quán)）人: 燕山大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06V40/20;B25J9/16
• 代理公司: 石家莊眾志華清知識(shí)產(chǎn)權(quán)事務(wù)所(特殊普通合伙) 13123
• 代理人: 田秀芬

1.一種基于虛擬現(xiàn)實(shí)的雙臂機(jī)器人遠(yuǎn)程實(shí)時(shí)控制系統(tǒng)，其特征在于：包括用于完成人體與雙臂機(jī)器人交互的虛擬現(xiàn)實(shí)設(shè)備及其仿真系統(tǒng)、用于獲取雙臂機(jī)器人圖像的視頻采集系統(tǒng)、雙臂機(jī)器人、電腦和軟件控制子系統(tǒng)；

所述虛擬現(xiàn)實(shí)設(shè)備采集人體手臂姿態(tài)信息展現(xiàn)于虛擬現(xiàn)實(shí)仿真系統(tǒng)；

所述視頻采集系統(tǒng)利用相機(jī)采集雙臂機(jī)器人的圖像信息實(shí)時(shí)展現(xiàn)于虛擬現(xiàn)實(shí)仿真系統(tǒng)，利用虛擬現(xiàn)實(shí)設(shè)備進(jìn)行雙臂機(jī)器人實(shí)時(shí)控制時(shí)，相機(jī)采集到的圖像實(shí)時(shí)在虛擬現(xiàn)實(shí)設(shè)備中顯示；

所述雙臂機(jī)器人為整個(gè)系統(tǒng)的被控對(duì)象，用于根據(jù)控制指令實(shí)現(xiàn)相應(yīng)動(dòng)作；電腦和軟件控制子系統(tǒng)用于還原人體手臂的運(yùn)動(dòng)軌跡；

所述虛擬現(xiàn)實(shí)設(shè)備包括頭戴顯示器和兩只手柄；所述頭戴顯示器用于實(shí)時(shí)地觀察雙臂機(jī)器人的運(yùn)動(dòng)狀態(tài)；所述兩只手柄用于獲取人體手臂姿態(tài)信息；

所述視頻采集系統(tǒng)包括獲取雙臂機(jī)器人的深度圖像的相機(jī)一和獲取雙臂機(jī)器人的RGB圖像的相機(jī)二；

所述電腦設(shè)置2臺(tái)，一臺(tái)電腦使用Windows系統(tǒng)，另一臺(tái)使用Ubuntu系統(tǒng)；

所述軟件控制子系統(tǒng)包括用于獲取虛擬現(xiàn)實(shí)設(shè)備中兩個(gè)手柄姿態(tài)信息的Unity系統(tǒng)和用于完成與Unity系統(tǒng)的通訊以及雙臂機(jī)器人控制的ROS系統(tǒng)；Unity系統(tǒng)與ROS系統(tǒng)通過WebSocket連接；

所述基于虛擬現(xiàn)實(shí)的雙臂機(jī)器人遠(yuǎn)程實(shí)時(shí)控制系統(tǒng)的控制方法，包括以下步驟：

步驟1，規(guī)劃實(shí)驗(yàn)區(qū)：操作者與雙臂機(jī)器人的人機(jī)交互都在試驗(yàn)區(qū)進(jìn)行；

步驟2，手臂姿態(tài)獲取與實(shí)驗(yàn)平臺(tái)設(shè)計(jì)：

首先，利用虛擬現(xiàn)實(shí)設(shè)備的兩個(gè)手柄獲取到人體手臂姿態(tài)信息，在Unity系統(tǒng)3D仿真平臺(tái)中構(gòu)建雙臂機(jī)器人機(jī)械臂模型，在虛擬現(xiàn)實(shí)設(shè)備的頭部顯示器中能夠?qū)崟r(shí)觀察雙臂機(jī)器人機(jī)械臂的運(yùn)動(dòng)狀態(tài)；

然后，設(shè)計(jì)末端六維姿態(tài)數(shù)據(jù)到雙臂機(jī)器人機(jī)械臂的數(shù)據(jù)轉(zhuǎn)換，采用基于時(shí)間的差值映射方式，搭建雙臂機(jī)器人控制平臺(tái)ROS系統(tǒng)及相關(guān)功能包；

步驟3，姿態(tài)信息傳輸：

Windows系統(tǒng)獲取的手柄六維姿態(tài)信息通過網(wǎng)絡(luò)通訊的方式傳送到Ubuntu系統(tǒng)中，進(jìn)而完成對(duì)于雙臂機(jī)器人的控制；

步驟4，雙臂機(jī)器人的控制程序設(shè)計(jì)：

步驟3中發(fā)送的數(shù)據(jù)是手柄的末端姿態(tài)，當(dāng)按住手柄控制器兩側(cè)的開關(guān)時(shí)，當(dāng)前位置和方向從Unity坐標(biāo)系轉(zhuǎn)換為ROS系統(tǒng)中的信息并通過主題發(fā)布到節(jié)點(diǎn)，利用雙臂機(jī)器人ROS系統(tǒng)內(nèi)置IK解算器找到解決方案后移動(dòng)雙臂機(jī)器人的機(jī)械臂；為了讓雙臂機(jī)器人機(jī)械臂運(yùn)動(dòng)的更加流暢自然，采用差值增量的控制方式，將獲取到的姿態(tài)數(shù)據(jù)與上一時(shí)刻作差，這樣的控制方式是相對(duì)的，每次遙操作任務(wù)也不用調(diào)整到絕對(duì)的初始狀態(tài)，同時(shí)在控制過程中可以對(duì)雙臂機(jī)器人機(jī)械臂進(jìn)行微調(diào)，完成更加精細(xì)的任務(wù)；

步驟5，虛擬現(xiàn)實(shí)畫面顯示：

相機(jī)一和相機(jī)二連接到Ubuntu系統(tǒng)電腦，在Windows系統(tǒng)電腦中Unity平臺(tái)獲取到手柄末端姿態(tài)信息，在Ubuntu系統(tǒng)電腦中ROS平臺(tái)獲取深度圖像；再利用網(wǎng)絡(luò)通訊將信息傳遞到的兩個(gè)手柄獲取到人體手臂末端姿態(tài)信息傳遞到裝有ROS的另一臺(tái)電腦，將深度圖像傳送到虛擬現(xiàn)實(shí)設(shè)備的頭戴顯示器中。

2.根據(jù)權(quán)利要求1所述的一種基于虛擬現(xiàn)實(shí)的雙臂機(jī)器人遠(yuǎn)程實(shí)時(shí)控制系統(tǒng)，其特征在于：步驟1中，規(guī)劃實(shí)驗(yàn)區(qū)首先確保有足夠的空間；房間的大小設(shè)置至少具有2m*1.5m的實(shí)驗(yàn)區(qū)；將所有障礙物移出實(shí)驗(yàn)區(qū),將電腦放置在實(shí)驗(yàn)區(qū)附近；虛擬現(xiàn)實(shí)設(shè)備線纜從電腦延伸5米，確保雙臂機(jī)器人在兩個(gè)定位相機(jī)的中間，操作者能夠以站姿或者坐姿來(lái)進(jìn)行遙操作任務(wù)。

3.根據(jù)權(quán)利要求1所述的一種基于虛擬現(xiàn)實(shí)的雙臂機(jī)器人遠(yuǎn)程實(shí)時(shí)控制系統(tǒng)，其特征在于：ROS系統(tǒng)和Unity系統(tǒng)使用不同的坐標(biāo)系；轉(zhuǎn)換監(jiān)聽器首先通過轉(zhuǎn)換ROS系統(tǒng)的位置和旋轉(zhuǎn)，如式(1)、(2)：

位置：

x_unity＝-x_ros (1)

y_unity＝-z_ros

z_unity＝-y_ros

式中，x_unity,y_unity,z_unity表示Unity系統(tǒng)中的三維坐標(biāo)，x_ros,y_ros,z_ros表示ROS系統(tǒng)中的三維坐標(biāo)；

四元數(shù)：

qx_unity＝qx_ros (2)

qy_unity＝-qz_ros

qz_unity＝qy_ros

qw_unity＝qw_ros

式中，qx_unity,qy_unity,qz_unity,qw_unity表示Unity系統(tǒng)中的四元數(shù)，qx_ros,qy_ros,qz_ros,qw_ros表示ROS系統(tǒng)中的四元數(shù)；

Unity系統(tǒng)到ROS系統(tǒng)的轉(zhuǎn)換從式(1)、(2)推導(dǎo)，通過四元數(shù)運(yùn)算得出旋轉(zhuǎn)角度，如式(3)：

(qx,qy,qz,qw)_ros＝(qx,qz,-qy,qw)_unity*(0,1,0,0) (3)。