[發明專利]基于雙目視覺和SIFT特征匹配的機械臂控制系統及實現方法

有效

• 申請號: 201611080602.8
• 申請日: 2016-11-30
• 公開（公告）號: CN106737665B
• 公開（公告）日: 2019-07-19
• 發明（設計）人: 劉強;王琳
• 申請（專利權）人: 天津大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程小艷

本發明涉及機械臂控制技術領域，尤其涉及一種基于雙目視覺和SIFT特征匹配的機械臂控制系統及實現方法。該系統包括SoC嵌入式平臺、機械臂及雙目視覺傳感器；所述雙目視覺傳感器通過USB接口與所述SoC嵌入式平臺相連接，所述SoC嵌入式平臺通過I/O控制接口與所述機械臂相連接。該實現方法主要步驟包括：參數標定、采集圖像、初始化、目標識別截取目標匹配模板、確定抓取范圍、調節末端位置、定位機械臂、抓取目標以及使用特征匹配定位已抓取目標。該系統以嵌入式SoC作為運算控制中心，融合基于雙目視覺的立體匹配算法和SIFT特征匹配算法，實現實時精確控制。

技術領域

本發明涉及機械臂控制技術領域，特別涉及一種基于雙目視覺和SIFT特征匹配的機械臂控制系統及實現方法。

背景技術

傳統物流有七大組成部分：運輸、倉儲、包裝、搬運裝卸、流通加工、配送以及相關的物流信息等環節。搬運裝卸作為物流中的重要環節，消耗大量的人力，造成不必要的人力與時間浪費，制約物流運輸速度的發展。在物流的搬運裝卸環節使用機械臂進行工作，可以減輕工人的勞動強度，也能大大提高勞動效率。同時使用攝像頭等視覺傳感器作為系統的主要傳感器，可以得到更多的信息，有利于系統高效、穩定地進行工作。

手眼系統(Hand-Eye System)是由攝像頭和機械臂構成的機器人視覺系統，其分為Eye-in-Hand系統(攝像頭隨機械臂末端運動)和Eye-to-Hand系統(攝像頭固定不動)。其中Eye-in-Hand系統在工業機器人中應用比較廣泛，但在實際應用中，系統的視野處在變化之中，不能保證目標一直在視場中，有時會存在丟失目標現象，實時性較差。

目前已有的機械臂多使用PC主機或是針對某一特殊需求、采用特定的軟硬件架構解決相應問題，不僅普適性差，而且往往成本高昂，需要大量的資源，并且功耗大。而且在運算與控制過程中，使用單目視覺來計算三維坐標，使用基于灰度的圖像匹配算法來識別目標，精度較低，易受光照干擾，同時匹配算法需要預先存儲大量模板，匹配過程耗時長。

發明內容

本發明的目的在于克服機械臂系統抓取過程中存在的技術不足，提供一種基于雙目視覺和SIFT特征匹配的機械臂控制系統及實現方法,該系統以嵌入式SoC作為運算控制中心，融合基于雙目視覺的立體匹配算法和SIFT特征匹配算法，實現實時精確控制。

本發明的基于雙目視覺和SIFT特征匹配的機械臂控制系統，包括SoC嵌入式平臺、機械臂及雙目視覺傳感器；所述雙目視覺傳感器通過USB接口與所述SoC嵌入式平臺相連接，所述SoC嵌入式平臺通過I/O控制接口與所述機械臂相連接；所述機械臂與所述雙目視覺傳感器組成Eye-to-Hand系統，并同時與SoC嵌入式平臺連接，進行信息傳輸及控制；所述雙目視覺傳感器采集圖像信息并傳輸給所述SoC嵌入式平臺，所述SoC嵌入式平臺完成相應計算，控制所述機械臂抓取目標；所述雙目視覺傳感器為雙目攝像頭。

本發明的另一技術方案是基于雙目視覺和SIFT特征匹配的機械臂控制系統的實現方法,包括以下步驟:

S1:攝像頭和機械臂參數標定；

S2：攝像頭采集機械臂圖像，截取機械臂末端圖像作為匹配模板；

S3：初始化機械臂，使機械臂末端處于機械臂坐標系原點位置；

S4：對圖像中的目標進行識別，攝像頭采集識別目標，并截取目標匹配模板；

S5：使用立體匹配算法，定位待抓取目標在圖像中的位置，以定位的待抓取目標上邊緣點為中心，確定抓取范圍；

S6：轉化坐標系信息，調節機械臂末端位置；

S7：采集圖像，使用立體匹配算法和SIFT特征匹配算法，定位機械臂末端在圖像中的位置，將定位的機械臂末端的中心位置與上述S5中確定的抓取范圍作比較，若機械臂末端的中心位置處于抓取范圍內，則符合抓取條件，進入S8，否則回到上述S6；