[發明專利]一種基于機器視覺的工件定位方法及裝置

有效

• 申請號: 201910731047.8
• 申請日: 2019-08-08
• 公開（公告）號: CN110599544B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 羅陸鋒;黃豪杰;盧清華;陳為林
• 申請（專利權）人: 佛山科學技術學院
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06V10/25;G06V10/774
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 蔡偉杰

1.一種基于機器視覺的工件定位方法，其特征在于，包括：

確定目標工件，采集Kinect相機拍攝的圖像，檢測所述圖像中包含所述目標工件圖像的預測框；

根據所述預測框的回歸坐標確定所述目標工件的輪廓，以及目標工件中心點的二維坐標；

獲取所述Kinect相機的標定參數，根據所述標定參數和所述目標工件中心點的二維坐標得出目標工件中心點的三維坐標；

將所述目標工件的輪廓和所述目標工件中心點的三維坐標作為目標工件的定位結果；

所述檢測所述圖像中包含所述目標工件圖像的預測框，包括：

獲取多張原始圖像，所述原始圖像中包含所述目標工件圖像；

標注出每張所述原始圖像中目標工件圖像的區域框，將標注了區域框的原始圖像作為訓練圖像，將多張所述訓練圖像作為訓練圖像集；

將所述訓練圖像集輸入Faster-R-CNN神經網絡進行訓練，輸出測試框，其中，所述測試框包括工件框和背景框，所述Faster-R-CNN神經網絡的輸出層包括背景標簽和目標工件標簽；

將所述測試框和區域框進行比對，根據所述比對結果將所述測試框劃分為背景框和包含目標工件圖像的工件框，直至完成對所述訓練圖像集的訓練；

將完成訓練后的Faster-R-CNN神經網絡作為檢測模型；

將Kinect相機拍攝的圖像輸入所述檢測模型，檢測出包含所述目標工件圖像的預測框；

所述將所述測試框和區域框進行比對，根據所述比對結果將所述測試框劃分為背景框和包含目標工件圖像的工件框，具體為：

通過以下公式計算所述測試框和區域框的重合度：

其中，GT表示測試框，ER表示區域框，area(GT∩ER)為所述測試框和區域框的重疊區域，area(GT∪ER)為所述測試框和區域框的合并區域，IOU為所述測試框和區域框的重合度；

將所述重合度大于0.7的測試框作為工件框，將所述重合度小于0.3的測試框作為背景框；

所述根據所述預測框的回歸坐標確定所述目標工件的輪廓，以及目標工件中心點的二維坐標，包括：

對所述預測框進行閾值化處理，生成二值化圖像；

采用邊緣檢測算法檢測所述二值化圖像的邊緣輪廓，通過最小外接矩形法獲取所述邊緣輪廓的最小外接矩形，將所述最小外接矩形作為目標工件的輪廓；

計算所述最小外接矩形的中心點坐標，將所述中心點坐標作為目標工件中心點的二維坐標；

所述根據所述標定參數和所述目標工件中心點的二維坐標得出目標工件中心點的三維坐標，具體為：

獲取相機的標定參數，所述標定參數包括：相機在x軸上的焦距f_x，相機在y軸上的焦距f_y，相機在x軸上的光圈中心c_x，相機在y軸上的光圈中心c_y，深度圖的縮放因子s，深度圖的深度值d；

通過以下公式計算目標工件中心點的三維坐標：

其中，(u,v)為目標工件中心點的二維坐標，(x,y,z)為目標工件中心點的三維坐標。

2.一種基于機器視覺的工件定位裝置，其特征在于，所述裝置包括：存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述程序被所述處理器執行時實現如權利要求1所述的方法的步驟。