[發明專利]一種基于機器視覺的工件定位方法及裝置

有效

• 申請號: 201910731047.8
• 申請日: 2019-08-08
• 公開（公告）號: CN110599544B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 羅陸鋒;黃豪杰;盧清華;陳為林
• 申請（專利權）人: 佛山科學技術學院
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06V10/25;G06V10/774
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 蔡偉杰

本發明涉及智能機器人技術領域，具體涉及一種基于機器視覺的工件定位方法及裝置，首先確定目標工件，采集Kinect相機拍攝的圖像，檢測所述圖像中包含所述目標工件圖像的預測框；進而根據所述預測框的回歸坐標確定所述目標工件的輪廓，以及目標工件中心點的二維坐標；接著獲取所述Kinect相機的標定參數，根據所述標定參數和所述目標工件中心點的二維坐標得出目標工件中心點的三維坐標；最后將所述目標工件的輪廓和所述目標工件中心點的三維坐標作為目標工件的定位結果，本發明可以對工件進行準確的識別與定位。

技術領域

本發明涉及智能機器人技術領域，具體涉及一種基于機器視覺的工件定位方法及裝置。

背景技術

當前對于工件的分揀，包裝主要還是依靠人工操作，這種原始的人工分揀、包裝方式效率低下，難以適應對大批量工件的分揀與包裝，另一方面，人工分揀相對于機械來說亦較容易出現錯誤。采用機械手代替人工操作對工件進行分揀與包裝能有效加快工作效率，減少人工分揀時出現的錯誤。而采用機械手代替人工操作的前提條件是需要對工件進行準確的識別與定位。而如何對工件進行準確的識別與定位成為值得研究的問題。

發明內容

為解決上述問題，本發明提供一種基于機器視覺的工件定位方法及裝置，可以對工件進行準確的識別與定位。

為了實現上述目的，本發明提供以下技術方案：

一種基于機器視覺的工件定位方法，包括：

確定目標工件，采集Kinect相機拍攝的圖像，檢測所述圖像中包含所述目標工件圖像的預測框；

根據所述預測框的回歸坐標確定所述目標工件的輪廓，以及目標工件中心點的二維坐標；

獲取所述Kinect相機的標定參數，根據所述標定參數和所述目標工件中心點的二維坐標得出目標工件中心點的三維坐標；

將所述目標工件的輪廓和所述目標工件中心點的三維坐標作為目標工件的定位結果。

優選的，所述檢測所述圖像中包含所述目標工件圖像的預測框，包括：

獲取多張原始圖像，所述原始圖像中包含所述目標工件圖像；

通過人工方式標注出每張所述原始圖像中目標工件圖像的區域框，將標注了區域框的原始圖像作為訓練圖像，將多張所述訓練圖像作為訓練圖像集；

將所述訓練圖像集輸入Faster-R-CNN神經網絡進行訓練，輸出測試框，其中，所述測試框包括工件框和背景框，所述Faster-R-CNN神經網絡的輸出層包括背景標簽和目標工件標簽；

將所述測試框和區域框進行比對，根據所述比對結果將所述測試框劃分為背景框和包含目標工件圖像的工件框，直至完成對所述訓練圖像集的訓練；

將完成訓練后的Faster-R-CNN神經網絡作為檢測模型；

將Kinect相機拍攝的圖像輸入所述檢測模型，檢測出包含所述目標工件圖像的預測框。

優選的，所述將所述測試框和區域框進行比對，根據所述比對結果將所述測試框劃分為背景框和包含目標工件圖像的工件框，具體為：

通過以下公式計算所述測試框和區域框的重合度：

其中，GT表示測試框，ER表示區域框，area(GT∩ER)為所述測試框和區域框的重疊區域，area(GT∪ER)為所述測試框和區域框的合并區域，IOU為所述測試框和區域框的重合度；

將所述重合度大于0.7的測試框作為工件框，將所述重合度小于0.3的測試框作為背景框。

優選的，所述根據所述預測框的回歸坐標確定所述目標工件的輪廓，以及目標工件中心點的二維坐標，包括：