[發明專利]一種虛實結合和人機交互的水下遙控機器人機械手作業系統及方法

在審

• 申請號: 202110005901.X
• 申請日: 2021-01-05
• 公開（公告）號: CN113146612A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 屠大維;胡浙瑜;張旭
• 申請（專利權）人: 上海大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 何文欣

1.一種虛實結合和人機交互的水下遙控機器人機械手作業系統，包括母船、計算機、顯示器、三維體感相機、水下機器人及機械手和臍帶纜；其特征在于：所述計算機、顯示器、三維體感相機置于母船作業艙內，水下機器人及機械手通過臍帶纜置于水下作業環境中；三維體感相機置于操作者的頭部上方，用于捕捉操作者手臂、手抓的肢體動作；顯示器用來顯示計算機生成的虛擬機械手；計算機捕捉操作者的肢體動作獲得操作者的作業意圖，并通過虛擬機械手顯示在屏幕上，供操作者觀作業時觀看，計算機將虛擬機械手關節角度通過臍帶纜發給對水下實體機械手，驅動水下機械手關節轉動，水下實體機械手通過臍帶纜將實際關節轉角反饋給計算機，讓計算機對虛擬機械手關節狀態進行實時修正，達到兩者一致；臍帶纜用來傳輸計算機和水下機械手之間的命令和數據。

2.根據權利要求1所述虛實結合和人機交互的水下遙控機器人機械手作業系統，其特征在于：

(1)所述計算機中構造一個與水下實體機械手完全相同的虛擬機械手，并顯示在屏幕上，供操作者作業時觀看；水下實體機械手將其關節實際角度數據通過臍帶纜發送給計算機，計算機接收到實體機械手關節角度數據后，將屏幕上顯示的虛擬機械手關節角度改變為與實體機械手關節完全一致的狀態；

(2)所述操作者看著屏幕上的虛擬機械手，利用其手臂、手抓，對虛擬機械手發出前后伸縮、左右移動、手抓抓握的動作指令，計算機利用三維體感相機捕捉到操作者手臂、手抓的肢體動作，將其動作意圖反映到屏幕上的虛擬機械手上，引起虛擬機械手的前后伸縮、左右移動、手抓抓握動作，并引起虛擬機械手關節角度的改變；同時，計算機通過臍帶纜將虛擬機械手的關節角度數據發給水下實體機械手，使得水下實體機械手關節轉動，實現水下機械手的前后伸縮、左右移動、抓手抓握動作；考慮到水下實際環境有可能限制實體機械手的運動，水下實體機械手將其實際關節轉動角度數據通過臍帶纜反饋給計算機，計算機接收到實體機械手關節狀態數據后，將虛擬機械手關節角度修正為與實體機械手關節一致的狀態；

(3)所述操作者看著屏幕上的虛擬機械手，根據作業任務需要，繼續對屏幕上虛擬機械手發出肢體交互指令，水下實體機械手繼續將關節實際轉角數據發給計算機，計算機繼續對虛擬機械手關節狀態進行修正。

3.一種虛實結合和人機交互的水下遙控機器人機械手作業方法，根據權利要求1所述虛實結合和人機交互的水下遙控機器人機械手作業系統進行操作，其特征在于，操作步驟包括：

第一步，打開設備，包括計算機、顯示屏、三維體感相機、水下實體機械手，確保設備正常，顯示屏上顯示有與水下實體機械手完全一致的三維圖形，作為虛擬機械手；

第二步，操作者位于母船作業艙內，眼睛看著屏幕上的虛擬機械手，根據作業任務，做出手臂伸縮、左右移動、抓手抓握等作業意圖，位于操作者頭部上方的三維體感相機采集操作者手臂、手抓動作數據；

第三步，將操作者的手臂、手抓運動數據傳輸給計算機，并做一定的濾波處理、分析，計算機接收操作者對機械手發出的前后伸縮、左右移動、手抓抓握的作業意圖指令，控制屏幕上的虛擬機械手作出關節改變，同時通過臍帶纜將虛擬機械手關節角度發送給水下實體機械手，驅動實體機械手相應關節的轉動；

第四步，水下實體機械手將關節實際轉角數據通過臍帶纜反饋給計算機，計算機根據接收到的水下實體機械手關節轉角實際數據，修改屏幕上虛擬機械手關節狀態，使虛擬機械手與實體機械手狀態保持一致；

第五步，操作者根據作業任務，重復前面第二步～第四步，直至完成作業任務。