[發明專利]一種基于視覺信息融合的機械臂抓取目標物體方法

在審

• 申請號: 202010866054.1
• 申請日: 2020-08-25
• 公開（公告）號: CN112171661A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 高放;孫晴藝;石蓬勃;王家寶;殷林飛;李正陽;雙豐
• 申請（專利權）人: 廣西大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 南寧啟創知識產權代理事務所(特殊普通合伙) 45122
• 代理人: 謝美萱

1.一種基于基于視覺信息融合的機械臂抓取目標物體方法，其特征在于，包括以下主要步驟：

(1)通過置于機械臂末端上方的相機獲取含有目標物體的彩色圖像以及相機坐標系下的圖像深度信息；

(2)基于所述彩色圖像，利用深度學習YOLO目標檢測方法對目標物體進行檢測，獲取包圍目標物體的三維矩形框的各角點及中心點的像素坐標；

(3)基于所述包圍目標物體的三維矩形框的各點像素坐標，及相機坐標下的圖像深度信息，計算出目標物體特征點在相機坐標系下的三維坐標；

(4)利用目標物體各特征點的三維坐標計算出目標物體在相機坐標系下的三維位置以及三維位姿；

(5)將目標物體在相機坐標系下的三維位置以及三維位姿轉換至機械臂基座坐標系下；

(6)利用所述目標物體在機械臂基座坐標系下的三維位置以及三維位姿作為機械臂逆運動學輸入，使用機械臂連接的二指夾爪進行目標抓取。

2.如權利要求1所述的方法，其特征在于，所述步驟(1)中所述的相機為RGB-D相機，固定在所述機械臂末端上方，隨機械臂運動而運動。

3.如權利要求1所述的方法，其特征在于，所述步驟(3)中基于所述包圍目標物體的三維矩形框的各角點和中心點像素坐標需要融合所得相機坐標系下的圖像深度信息，其中的圖像深度信息為特征點像素坐標對應的深度相機得到的深度信息；

基于所述像素坐標和圖像深度信息，由相機的透視投影成像幾何原理以及標定所得的相機內參，將三維矩形框各角點和中心點像素坐標轉換為準確的相機坐標下的三維坐標。

4.如權利要求1所述的方法，其特征在于，所述步驟(4)中將目標物體三維矩形框中心點的三維坐標作為目標物體在相機坐標系下的三維位置，并根據得到的目標物體各特征點的三維坐標利用迭代最近點方法，求解目標物體在相機坐標系下的三維位姿。

5.如權利要求1所述的方法，其特征在于，所述步驟(5)所述的相機坐標系與機械臂基座坐標系的轉換關系為：

其中為目標物體在機械臂坐標下的三維坐標，而為目標物體在相機坐標下的三維坐標，T為手眼標定矩陣；

手眼標定矩陣的獲取是通過多次運動機械臂末端，使相機采集多次標定板信息，其中機械臂基座與標定板固定不動，機械臂基座坐標系與機械臂末端坐標系的轉換矩陣已知，相機坐標系下的標定板坐標已知，求解可得機械臂末端坐標系與相機坐標系得轉換矩陣，以此得相機坐標系與機械臂基座坐標系轉換矩陣。

6.如權利要求1所述的方法，其特征在于，所述步驟(6)所述二指夾爪與機械臂連接，所述的目標物體在機械臂基座坐標系下的三維位置以及三維位姿作為機械臂逆運動學輸入，向機械臂發出運動控制指令，使用機器人操作系統ROS系統中用于運動規劃的MoveIt！功能包，進行機械臂末端到目標位置及位姿的運動規劃，當機械臂末端運動到目標位置及位姿時，根據所述運動控制指令，由二指夾爪進行張開、夾緊完成目標物體抓取任務。