[發明專利]一種基于視覺引導的面向自動配線的方法及裝置

在審

• 申請號: 202211083707.4
• 申請日: 2022-09-06
• 公開（公告）號: CN115629066A
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 蔡鑫垚;胡廣華;李嘉興;唐輝雄;歐美彤;韋文斐
• 申請（專利權）人: 華南理工大學
• 主分類號: G01N21/84
• 分類號: G01N21/84;G01N21/01;G06T7/00;G06T7/11;G06T7/246;G06T7/90;G06T7/80;G06T7/73;G06V10/25;G06V10/764;G06V10/82
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 王東東

本發明公開了一種基于視覺引導的面向自動配線的方法及裝置，裝置包括配線作業執行部分、視覺檢測部分及驅動控制部分；所述配線作業執行部分包括二維運動平臺、旋轉輔助機構、一臺六自由度的工業機器人和安裝在工業機器人末端的夾持器；所述視覺檢測部分包括兩個工業相機、一個微型相機和圖像采集卡；所述驅動控制部分運動控制卡和機器人控制器。本發明采用視覺引導技術實現工業機器人的自動化配線作業，智能化和柔性化程度高，線纜端子的定位和線孔裝配的成功率高、靈活性強，可用于線纜自動插接的柔性裝配等工業應用場景。

技術領域

本發明涉及自動化配線領域，特別涉及一種基于視覺引導的面向自動配線的方法及裝置。

背景技術

現在生產制造廠商中，生產設備幾乎都離不開電路器件的連接。傳統的電路連接一般是依靠人工在插線板上進行插接，這種作業方式需要耗費許多人力資本進行低效重復的工作。步入智能化時代后，許多工廠開始尋求人機結合或是完全由機器人或其它設備來替代老舊的手工插線方式，例如一些面向光纖的自動配線設備的開發。

但是，由機器代替人工去完成配線的過程主要存在三個問題。首先，線纜是軟體結構，形態不固定因此存在抓取困難；其次，線纜端子結構復雜，且上料時姿態各異需要進行姿態調整；最后，將線纜端子與連接器進行插接時，由于兩者的配合間隙非常小，因此需要較高的定位精度。

自動配線的作業情況復雜，單純依靠機構操作很難完成整套線孔插接的流程。工業生產中面對一些復雜作業，常常引入工業機器人搭配工業相機進行視覺引導操作，如拾取、碼垛等。System Robot Automation公司設計的SYNDY系統，主要應用在電器設備中導線的連接，通過機械手可以實現端到端的布線作業。但該設備的末端執行器結構較大，這使其無法完成大量線纜、高密度布線的配線任務。Kyongmo Koo等人開發的基于視覺的配線系統將汽車的線束組裝到車身中。通過激光傳感器，獲取點云模型，尋找孔的位置和插入的方向，引導機器人完成軸孔配對工作，但由于該系統使用的設備較多且成本較高，難以被廣泛應用。

而在配線作業中相關的視覺算法研究中，有學者提出使用CNN算法識別線纜端子，也有學者采用顏色分隔提取線纜，前者在識別精度上需要提升同時該方法無法識別線纜線體，后者存在的缺陷是無法區分不同端子的線纜。在線孔插配方面，許多相似或相關的研究工作中，都是以立體視覺為引導，通過深度相機或雙目立體視覺等設備獲得目標物體的三維位姿，最后進行裝配引導。

因此，目前在配線作業中相關的研究仍然存在以下不足：第一，對于線纜端子的識別算法需要進一步提升檢測的準確率和精度；第二，不同端子的線纜分割問題；第三，對于線纜端子的姿態估計與調整缺少相關研究，由于線纜端子尺寸較小，因此這對其三維圖像信息的提取造成困難，不易于通過三維信息對其姿態進行估計，容易造成估算偏差大從而導致配線失敗；第四，目前更多的是通過立體視覺的方式引導執行機構插線，但是對于柔性線纜，插線過程中沒有得到實時閉環控制容易降低成功率。

發明內容

為了克服現有技術的上述缺點與不足，本發明的目的在于提供一種基于視覺引導的面向自動配線的方法及裝置。

本發明的目的通過以下技術方案實現：

一種基于視覺引導的面向自動配線的方法，其特征在于，包括如下步驟：

建立機器人與相機的坐標系關系；

移動機器人到上料區，獲取上料區的線纜圖像，計算得到線纜的拾取位姿，驅動機器人夾取電纜；

獲取線纜端子的側面圖像，構建線纜端子的角度預測模型，以線纜端子的局部顏色直方圖的圖像特征作為輸入，預測角度作為輸出，根據預測角度對線纜端子的姿態進行調整，直到線纜端子姿態調整到預設的正確角度；