[發明專利]一種基于虛擬現實的雙臂機器人遠程實時控制系統及方法

有效

• 申請號: 202110556471.0
• 申請日: 2021-05-21
• 公開（公告）號: CN113282173B
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 溫淑煥;賈仕東;方斌;孫富春;劉鑫
• 申請（專利權）人: 燕山大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/20;B25J9/16
• 代理公司: 石家莊眾志華清知識產權事務所(特殊普通合伙) 13123
• 代理人: 田秀芬

本發明提出了一種基于虛擬現實的雙臂機器人遠程實時控制系統及方法，屬于機械臂遙操作技術領域，包括用于完成人體與雙臂機器人交互的虛擬現實設備及其仿真系統、用于獲取雙臂機器人圖像的視頻采集系統、雙臂機器人、電腦和軟件控制子系統；方法包括規劃實驗區、手臂姿態獲取與實驗平臺設計、姿態信息傳輸、雙臂機器人的控制程序設計、虛擬現實畫面顯示等步驟。本發明將虛擬現實技術引入到機械臂的控制中，對比傳統操縱桿、控制面板控制方式更加快速簡單，同時將雙臂機器人的運動視頻實時反饋到虛擬現實設備中，十分有利于無經驗的操作者，實現了更好的人機交互方式，系統更為安全。

技術領域

本發明涉及機械臂遙操作技術領域，尤其是一種基于虛擬現實的雙臂機器人遠程實時控制系統及方法。

背景技術

如今機器人技術發展迅速，越來越多的機器人應用于各個領域，傳統的遠程機器人控制方式往往是利用操縱桿、控制面板，在操作任務中對操作者的經驗技術要求很高，并且無法模仿人類動作完成任務，對遠程環境的突發事件應對性差。特別是一些危險的操作環境中，不僅需要操作者進行遠程控制，而且還要遠程操作環境的變化實時的做出調整。

發明內容

本發明需要解決的技術問題是提供一種基于虛擬現實的雙臂機器人遠程實時控制系統及方法，通過虛擬現實設備采集人體手臂姿態信息完成雙臂機器人的控制任務，實現機械臂高精度的目標抓取任務。

為解決上述技術問題，本發明所采用的技術方案是：

一種基于虛擬現實的雙臂機器人遠程實時控制系統，包括用于完成人體與雙臂機器人交互的虛擬現實設備及其仿真系統、用于獲取雙臂機器人圖像的視頻采集系統、雙臂機器人、電腦和軟件控制子系統；

所述虛擬現實設備采集人體手臂姿態信息展現于虛擬現實仿真系統；

所述視頻采集系統利用相機采集雙臂機器人的圖像信息實時展現于虛擬現實仿真系統，利用虛擬現實設備進行雙臂機器人實時控制時，相機采集到的圖像實時在虛擬現實設備中顯示；

所述雙臂機器人為整個系統的被控對象，用于根據控制指令實現相應動作；電腦和軟件控制子系統用于還原人體手臂的運動軌跡。

本發明技術方案的進一步改進在于：所述虛擬現實設備包括頭戴顯示器和兩只手柄；所述頭戴顯示器用于實時地觀察雙臂機器人的運動狀態；所述兩只手柄用于獲取人體手臂姿態信息；

所述視頻采集系統包括獲取雙臂機器人的深度圖像的相機一和獲取雙臂機器人的RGB圖像的相機二；

所述電腦設置2臺，一臺電腦使用Windows系統，另一臺使用Ubuntu系統；

所述軟件控制子系統包括用于獲取虛擬現實設備中兩個手柄姿態信息的Unity系統和用于完成與Unity系統的通訊以及雙臂機器人控制的ROS系統。

一種基于虛擬現實的雙臂機器人遠程實時控制方法，使用一種基于虛擬現實的雙臂機器人遠程實時控制系統，包括以下步驟：

步驟1，規劃實驗區：操作者與雙臂機器人的人機交互都在試驗區進行；

步驟2，手臂姿態獲取與實驗平臺設計：

首先，利用虛擬現實設備的兩個手柄獲取到人體手臂姿態信息，在Unity系統3D仿真平臺中構建雙臂機器人機械臂模型，在虛擬現實設備的頭部顯示器中能夠實時觀察雙臂機器人機械臂的運動狀態；

然后，設計末端六維姿態數據到雙臂機器人機械臂的數據轉換，采用基于時間的差值映射方式，搭建雙臂機器人控制平臺ROS系統及相關功能包；

步驟3，姿態信息傳輸：

Windows系統獲取的手柄六維姿態信息通過網絡通訊的方式傳送到Ubuntu系統中，進而完成對于雙臂機器人的控制；