[發(fā)明專利]可實現(xiàn)目標物精確抓取的視覺識別計算方法

在審

• 申請?zhí)枺?/td>: 202010327708.3
• 申請日: 2020-04-23
• 公開（公告）號: CN111667454A
• 公開（公告）日: 2020-09-15
• 發(fā)明（設計）人: 張鍇;洪亮;王平江;徐慧;陳曼林;鄧少豐;焦明杰
• 申請（專利權(quán)）人: 泉州華中科技大學智能制造研究院;泉州華數(shù)機器人有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/73;G06T7/80;G06T7/66;G06T7/13;G06T5/00
• 代理公司: 泉州市寬勝知識產(chǎn)權(quán)代理事務所(普通合伙) 35229
• 代理人: 廖秀玲

1.可實現(xiàn)目標物精確抓取的視覺識別計算方法,其特征在于：具體步驟為：

1）將視覺相機安裝在傳送帶上方的機架上，當待抓取的目標物通過傳動帶輸送至該視覺相機下方時，利用視覺相機獲取傳送帶上待抓取的目標物圖像信息，在視覺相機拍照的瞬間進行位置鎖存，記錄下傳送帶當前位置信息；

2）調(diào)用myVision.GetCamImg(srcImage)函數(shù)進行取圖操作，把該視覺相機拍攝得到的圖像讀取到圖像處理控制程序中，通過API函數(shù)接口將傳送帶位置、速度信息從伺服驅(qū)動外接引腳導入到圖像處理控制程序中；

3）利用圖像處理控制程序?qū)D像進行灰度處理，對獲取圖片中的目標物進行輪廓點提取，利用Opencv開源庫的函數(shù)對目標物進行形心計算，并利用手眼標定計算出內(nèi)外參矩陣進行形心位置像素點與抓取模塊世界坐標系XYZ的轉(zhuǎn)換，最后將目標物形心點位信息、視覺相機拍照瞬間的傳送帶位置和傳送帶速度發(fā)送到對應的軌跡規(guī)劃模塊中，其具體步驟如下：

1-1）圖像處理控制程序?qū)D像進行開運算去噪二值化處理；調(diào)用開源庫Opencv的threshold函數(shù)，并得到該圖像的灰度圖threshold(srcImage,grayrefer,25,255,CV_THRESH_BINARY)，然后定義核并對灰度圖進行形態(tài)學操作；

1-2）利用自定義的findCircle函數(shù)來查找圖像中所有的目標物的形心，并將結(jié)果寫入到自定義數(shù)組中，findCircle函數(shù)利用findContours（）函數(shù)對圖像中所有目標物的外圍輪廓進行檢測，然后利用cv::contourArea（即根據(jù)目標物輪廓計算出的面積）/cv::minAreaRect（即最小外接矩形的面積）的比值進行判斷，然后利用cv::minAreaRect(contours[i]).center函數(shù)取最小外接矩形的形心即該目標物的形心；

1-3）在進行判斷后，將所有的目標物的形心信息寫入到二維數(shù)組circlePoint[n][3]中，circlePoint[n][0]記錄的是目標物在傳送帶上的位置，circlePoint[n][1]和circlePoint[n][2]記錄的是目標物的像素坐標u、v，然后將所有的目標物按傳送帶運行方向上位置順序的先后進行排序；

1-4）排序完成后進行像素坐標系與機器人世界坐標系的轉(zhuǎn)換，該轉(zhuǎn)換函數(shù)的內(nèi)參矩陣，外參矩陣，畸變系數(shù)取自視覺相機標定和機器人手眼標定的結(jié)果，經(jīng)過轉(zhuǎn)換可將像素坐標u、v轉(zhuǎn)換為機器人世界坐標系下的X,Y坐標，并將該坐標寫入新的數(shù)組worldPosition[n][3]，其中worldPosition[n][0]記錄的是目標物在傳送帶上的位置，worldPosition[n][1]，worldPosition[n][2]記錄的是目標物經(jīng)過轉(zhuǎn)換后相對于機器人世界坐標系下的X,Y坐標；

1-5) 目標物形心點位信息、視覺相機拍照瞬間的傳送帶位置和傳送帶速度通過worldPosition數(shù)組下發(fā)到軌跡規(guī)劃模塊，軌跡規(guī)劃模塊根據(jù)worldPosition數(shù)組生成相關(guān)的G代碼文件，生成G代碼如下：

G01 X s0.x Y s0.y Z s0.z F500

G01 X (s1.x+#1200) Y (s1.y+#1201) Z s0.z

G01 X (s1.x+#1200) Y (s1.y+#1201) Z (s1.z+#1202)

M100

G01 X (s1.x+#1200) Y (s1.y+#1201) Z s0.z

G01 X s2.x Y s2.y Z s2.z

G01 X s0.x Y s0.y Z s0.z

M111

Repeat[N]

其中SO為機器人的初始位置，S1為目標物拍照瞬間的位置，S2為機器人抓取目標物放置在收取目標物的位置，F(xiàn)為機械手的進給率，M100為抓取吸盤開，M111為抓取吸盤關(guān)，#1200、#1201、#1202為機械手抓取瞬間目標物在傳送帶運行方向上相對于初始位置的X，Y，Z的坐標增加的分量，Repeat[N]表示重復N次(有N個目標物) ；

4）軌跡規(guī)劃模塊將生成的G代碼通過RCS通訊平臺建立的NML通道發(fā)送給機器人，機器人運行相應的軌跡并且動作實現(xiàn)目標物的精確抓取。