[發明專利]基于深度相機的機器人自主識別智能抓取方法及系統

有效

• 申請號: 202110648787.2
• 申請日: 2021-06-10
• 公開（公告）號: CN113379849B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 張雪波;周燕玲;袁明星;趙銘慧
• 申請（專利權）人: 南開大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/50;G06V10/75;B25J19/02;B25J9/16
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張慶騫

1.基于深度相機的機器人自主識別智能抓取方法，其特征在于，包括：

對深度相機進行相機標定及手眼標定；

制定目標工件的特征模板；

獲取目標工件的彩色圖像和深度圖像；

將彩色圖像和深度圖像輸入路徑獲取模型，獲取目標工件的機器人抓取路徑；

根據機器人抓取路徑對目標工件進行智能抓取；

所述路徑獲取模型的建立包括，基于深度相機輸出的彩色圖像和深度圖像獲取相機坐標系下的工件位姿；基于手眼標定算法和機器人正運動學所獲得的位姿變換矩陣，對相機坐標系下的工件位姿進行位姿變換獲得機器人坐標系下的工件位姿；根據機器人坐標系下的工件位姿進行路徑規劃；

相機標定及手眼標定為：

利用張正友標定法完成相機標定，獲取彩色相機和深度相機的內參和外參；利用傳統方法進行手眼標定，獲得手眼變換矩陣的初始值；基于非線性迭代優化算法獲取手眼變換矩陣的精確值；

利用彩色相機外參、深度相機外參與對應在機械臂末端執行器坐標系與機械臂基坐標系之間的位姿矩陣構造等式，通過手眼標定方法分別獲得機械臂末端執行器坐標系與彩色相機坐標系、深度相機坐標系之間的位姿變換矩陣的初始值；

將深度相機的視覺系統和機器人的手眼系統融合為一個系統并創建整體的模型，對彩色相機和深度相機的外參數以及手眼標定的初始結果進行聯合優化，優化目標使深度圖像和彩色圖像中所有角點的重投影誤差之和最小；采用非線性迭代優化的算法，獲得機械臂末端執行器坐標系與彩色相機坐標系、深度相機坐標系之間的位姿變換矩陣的精確值；

所述制定目標工件的特征模板的步驟包括：

首先使用深度相機拍攝目標工件獲得該目標工件的彩色圖片，進行圖像處理即對工件圖片進行特征檢測和提取，將該帶有目標工件特征的圖片作為特征模板，并在模板中建立目標工件的坐標系，定義目標工件的位置即坐標系原點為導入圖片模板的中心處，坐標系的X軸沿導入圖片模板的像素坐標系的橫軸方向，Y軸沿導入圖片模板的像素坐標系的縱軸方向，Z軸垂直于所導入的圖片模板所在平面向外，三軸的正方向遵循右手定則；

所述基于深度相機輸出的彩色圖像和深度圖像獲取相機坐標系下的工件位姿的步驟包括：

對目標工件的實時彩色圖像進行特征檢測，通過與目標工件的特征模板進行匹配獲取目標工件的像素位置以及與特征模板中四個角點對應點的各像素位置；利用與彩色圖像對齊的深度圖像獲得目標工件及四個角像素位置處的深度，根據彩色相機的內參獲得目標工件在相機坐標系下的三維坐標；

根據三維坐標獲得目標工件的尺寸，求得目標工件所在平面與其在彩色圖像像素平面之間的單應矩陣，利用彩色相機的內參和目標工件在彩色相機坐標系下的三維坐標，分解得出目標工件在彩色相機坐標系下的姿態，獲得目標工件在彩色相機坐標系下的位姿。

2.如權利要求1所述的機器人自主識別智能抓取方法，其特征在于，所述利用張正友標定法完成相機標定，獲取彩色相機和深度相機的內參和外參，包括：

對彩色圖像進行角點檢測，利用張正友標定法獲得第一單應矩陣，分解第一單應矩陣獲得彩色相機外參和彩色相機內參；

對深度圖像進行角點檢測，利用張正友標定法獲得第二單應矩陣，分解第二單應矩陣獲得深度相機外參和深度相機內參。

3.如權利要求1所述的機器人自主識別智能抓取方法，其特征在于，所述根據機器人坐標系下的工件位姿進行路徑規劃包括：

基于目標工件在彩色相機坐標系下的位姿，利用手眼標定法確定機械臂末端執行器坐標系與彩色相機坐標系之間的轉換關系，獲得目標工件在機械臂末端執行器坐標系下的位姿。

4.如權利要求3所述的機器人自主識別智能抓取方法，其特征在于，根據機械臂當前各關節角的數據通過正運動學獲得機械臂末端執行器坐標系與機器人基坐標系之間的位姿矩陣，獲得目標工件在機器人基坐標系下的位姿。

5.如權利要求4所述的機器人自主識別智能抓取方法，其特征在于，將機器人基坐標系下的位姿利用逆運動學進行路徑規劃，得到機器人抓取路徑。