[發明專利]一種大型稀疏特征托盤精確6D位姿測量和抓取方法

有效

• 申請號: 202011002372.X
• 申請日: 2020-09-22
• 公開（公告）號: CN112109072B
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 李福東;俞松;楊月全
• 申請（專利權）人: 揚州大學
• 主分類號: B25J9/10
• 分類號: B25J9/10;B25J15/08;B25J19/02
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 陳棟智;董旭東

本發明公開了一種大型稀疏特征托盤精確6D位姿測量和抓取方法，包括離線校準和示教：利用兩個攝像機圖像的二維信息可以確定托盤的特征，并將其轉換為相機坐標系中的3D坐標，并提前進行手眼標定，在手眼標定工作結束后，也進行了示教過程；在線位姿測量和抓取：機器人將雙目視覺安裝到一個位置，可以發現物流托盤上的一個特征；移動機器人，可以發現托盤上另一個特征；再移動機器人，發現托盤上第三個特征，并且這三個特征不共線，然后這三個特征在圖像上的位置使用基于形狀的模板匹配來定位；用雙目視覺重建特征點的3D位置；通過3個特征點計算位置和姿態，并根據這個信息進行抓取，本方法降低了硬件的要求并且具有更高的位姿測量精度。

技術領域

本發明涉及一種機器人抓取方法，特別涉及一種基于雙目視覺機器人系統的抓取方法。

背景技術

隨著對定制產品的需求和視覺技術的發展，越來越多帶有視覺系統的機器人被開發和實際應用。目標物的精確6D位姿信息對于視覺引導機器人3D操作的成功至關重要。基于視覺的6D位姿測量技術主要分為兩類：主動視覺和被動視覺。主動視覺方法主要是針對不同類型的結構化光視覺系統[1]，通過提取投射到目標結構化光的成形條紋，可以構造目標的表面信息，并估計目標的6D位姿。而雙目視覺[2]屬于被動視覺，它是使用兩臺攝像機拍攝同一場景的兩幅圖像以及兩個相機的幾何關系來重建3D信息的技術。一般在雙目視覺下，通過相機拍攝到目標物的所有表面信息，這時會采集到表面不穩定的特征，導致最終測量偏差大。為了提高測量精度和降低所需的硬件設備，選定目標物表面三個穩定且紋理深的特征，在基于雙目視覺的機器人系統下，對目標物進行位姿測量和抓取。

[1]張楠.基于圖像信息處理的主動視覺跟蹤系統研究[D].長春工業大學,2015。

[2]佘銀海,王新彥.基于雙目立體視覺的草坪植株高度測量[J].江蘇農業科學,2020,48(04):215-221。

發明內容

本發明的目的是提供一種大型稀疏特征托盤精確6D位姿測量和抓取方法，提高測量精度。

本發明的目的是這樣實現的：一種大型稀疏特征托盤精確6D位姿測量和抓取方法，以下兩個過程：

離線校準和示教：

步驟S1：用OpenCV分別校正左相機和右相機，得到他們的內參和畸變系數，找到左右標定圖的內角點坐標，加上三維世界坐標P，計算出右相機相對于左相機的平移向量T和旋轉矩陣R，來對雙目視覺標定；

步驟S2：進行機器人手眼標定，確定機器人末端工具坐標系與相機之間的固定幾何關系；

步驟S3：示教，在機器人末端工具坐標系與物體坐標系之間的位姿校準過程，通過抓取和拍照位姿關系，計算并保存目標物與機械手工具坐標系之間的相對位姿；

在線位姿測量和抓取：

步驟S4：使用基于形狀模板匹配的方法，生成三個模板，然后基于三個模板分別在圖像上定位到對應的三個特征點，并且這三個特征點不共線；

步驟S5：在標定好的雙目視覺系統下，確定右相機在左相機的旋轉矩陣R和平移向量T；然后經過圖像矯正技術，轉為理想模型，在根據圖像中定位到的三個特征點分別在左相機坐標系中重建3D坐標；

步驟S6：將相機坐標系中的三個特征點坐標轉換為機器人基座坐標系；

步驟S7：機器人在雙目視覺引導下抓取托盤。