[發明專利]基于雙目視覺的位姿識別與抓取的裝置與方法

在審

• 申請號: 201910870880.0
• 申請日: 2019-09-16
• 公開（公告）號: CN110509281A
• 公開（公告）日: 2019-11-29
• 發明（設計）人: 孫堅;吳蘇陽
• 申請（專利權）人: 中國計量大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 33200 杭州求是專利事務所有限公司
• 代理人: 林超<國際申請>=<國際公布>=<進入國

1.一種基于雙目視覺的位姿識別與抓取的裝置，其特征在于，包括工件傳送模塊、圖像采集模塊和目標工件抓取模塊；

工件傳送模塊包括帶式傳送機(9)、帶式傳送機電機驅動裝置(4)和接近傳感器(8)，帶式傳送機(9)上安裝有用于傳送目標工件(10)的傳送帶，位于傳送帶一側的帶式傳送機(9)機架上安裝有接近傳感器(8)；

圖像采集模塊包括工業相機(2)、相機支架(3)、條形光源(5)和雙目相機夾具(11)，位于傳送帶兩側的帶式傳送機(9)機架上固定有相機支架(3)，相機支架(3)兩側之間安裝有雙目相機夾具(11)，雙目相機夾具(11)的導軌上滑動安裝有兩個工業相機(2)，兩個工業相機(2)用于拍攝經過接近傳感器(8)的目標工件(10)，兩個工業相機(2)分別為左相機和右相機；相機支架(3)兩側底部安裝有對稱布置的兩個條形光源(5)；接近傳感器(8)靠近相機支架(3)布置；

目標工件抓取模塊包括四軸機械手(1)和控制柜(7)，控制柜(7)位于帶式傳送機(9)一側且高度與傳送帶高度一致；四軸機械手(1)通過其底座固定于控制柜上。

2.采用權利要求1所述裝置的一種基于雙目視覺的位姿識別與抓取的方法，其特征在于，包括以下步驟：

步驟一：調整工業相機(2)的高度、拍攝角度和兩個工業相機(2)之間的距離，使得目標工件(10)位于工業相機(2)的焦距范圍內；

步驟二：根據張正友標定法對左右相機進行雙目標定獲得相機的內外參數矩陣，根據參數矩陣對左右相機進行立體校正后得到校正映射圖；

步驟三：對四軸機械手(1)和工業相機(2)選擇手到眼(Eye-To-Hand)的手眼標定模式進行手眼標定，獲得相機坐標系相對于機械手坐標系的位姿轉換關系；

其中，相機坐標系由工業相機的左相機為原點建立得到，機械手坐標系由四軸機械手(1)底座為原點建立得到；

步驟四：待抓取的目標工件(10)通過帶式傳送機(9)傳送至雙目相機下方位置，且接近傳感器(8)接收到目標工件(10)的信號時，帶式傳送機電機驅動裝置(4)停止帶式傳送機(9)的工作；

步驟五：左右相機拍攝經過接近傳感器(8)的目標工件(10)的圖像，并將拍攝到的目標工件圖像傳輸至計算機；

步驟六：利用步驟一獲取的校正映射圖對左右相機采集的目標工件圖像進行校正，然后對圖像依次進行圖像分割、灰度變換、中值濾波和邊緣檢測的預處理；

步驟七：利用NCC相似性度量算法對步驟六預處理后的圖像進行立體匹配，通過雙目立體視覺的金字塔模型尋找匹配點，將所有匹配點坐標集合后形成的點云圖像構成深度圖，對深度圖進行平均深度計算從而得到目標工件(10)在相機坐標系下的三維坐標；

步驟八：基于Halcon對目標工件(10)進行姿態估計得到目標工件(10)的姿態信息Q；

步驟九：已知四軸機械手(1)末端執行器的初始位置和初始姿態，采用笛卡爾位置控制模式進行軌跡規劃，笛卡爾位置控制模式根據目標工件(12)相對于末端執行器的方位角和目標工件(12)的三維坐標進行軌跡規劃，四軸機械手(1)末端執行器根據規劃的軌跡從初始位置移動至目標工件(10)附近，且移動過程中使末端執行器始終指向目標工件(10)；

步驟十：四軸機械手(1)末端執行器離目標工件(10)緩沖距離為d時調整四軸機械手(1)末端執行器的姿態信息，然后以漸進的方式靠近目標工件(10)完成抓取；

步驟十一：四軸機械手(1)抓取到目標工件(10)時，四軸機械手(1)先抓取目標工件(10)沿機械手坐標系的Z軸向上移動設定距離H，之后四軸機械手(1)控制末端執行器移動至初始位置，然后對姿態信息Q和末端執行器在初始狀態的姿態信息進行逆運動求解后將機械手末端執行器調整回末端執行器的初始姿態，此時目標工件(10)完成初始姿態至中間姿態的轉移過程；

步驟十二：四軸機械手(1)繼續抓取目標工件(10)至目標堆放臺(6)，目標工件(10)處于結束姿態。