[發明專利]一種基于相機測量的多模型工件無序抓取方法及裝置

有效

• 申請號: 202110688843.5
• 申請日: 2021-06-22
• 公開（公告）號: CN113246140B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 賈軍營;楊海波;王佳林;盧鑫;徐宏鑫
• 申請（專利權）人: 沈陽風馳軟件股份有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06K9/62;G06T3/00;G06T7/50;G06T7/73
• 代理公司: 北京華專卓海知識產權代理事務所(普通合伙) 11664
• 代理人: 李巨智

本發明提供了一種基于相機測量的多模型工件無序抓取方法及裝置。所述方法包括對待抓取工件進行完整建模和/或部分建模；獲取待抓取工件所在區域的測量圖像，得到世界坐標系下的第一點云，轉化到機械臂基坐標系，通過自切割預處理得到第二點云；將待抓取工件的完整模型和/或部分模型與第二點云進行匹配，得到匹配結果；確定目標工件，獲取目標工件的位姿，得到抓取工具的抓取位姿；將第二點云由機械臂基坐標系轉換到抓取工具坐標系；在抓取工具坐標系中構建抓取工具的包圍盒模型，對目標工件執行抓取。以此方式，提升工件識別效率和速度；并使抓取工具在抓取的過程中能夠考慮到機械臂夾取工件時可能會與遮擋物碰撞的問題，提升抓取安全性。

技術領域

本發明一般涉及機器視覺領域，并且更具體地，涉及一種基于相機測量的多模型工件無序抓取方法及裝置。

背景技術

隨著機器人領域技術的不斷發展完善及國家對生產力水平需求的不斷提高，機器人自動化產業迎來了自己的春天。機器視覺作為通過測量實現機器人自動化的關鍵技術，衍生出了很多應用領域，其中用光學儀器測量工件大小和位姿，實現機器自動化無序抓取成為機器視覺領域在實際生產中的一項有著廣泛應用的熱門話題。

目前工件無序抓取技術一般都包含3D視覺測量、點云生成、點云處理、手眼標定、模板匹配、位姿計算、抓取策略等技術，然而現有技術在點云處理和模板匹配時一般利用神經網絡技術實現。然而由于神經網絡訓練需要大量的訓練集和驗證集，使整個抓取過程耗時較長，效率低下；另一方面，現有技術沒有考慮到機械臂夾取工件的過程中由于存在其他工件的遮擋，導致機械臂在運動過程中與遮擋物會發生碰撞的問題。

發明內容

根據本發明的實施例，提供了一種基于相機測量的多模型工件無序抓取方案，使工件識別速度更快，效率更高，抓取更安全。

在本發明的第一方面，提供了一種基于相機測量的多模型工件無序抓取方法。該方法包括：

S101：對待抓取工件進行完整建模和/或部分建模，得到所述待抓取工件的完整模型和/或部分模型；

S102：獲取所述待抓取工件所在區域的測量圖像，得到世界坐標系下的第一點云，通過手眼標定將所述第一點云轉化到機械臂基坐標系，并將機械臂基坐標系下的點云進行自切割預處理，得到第二點云；

S103：將所述待抓取工件的完整模型和/或部分模型與所述第二點云進行匹配，得到匹配結果；

S104：從所述匹配結果中確定目標工件，獲取所述目標工件的位姿，并根據所述目標工件的位姿得到抓取工具的抓取位姿；

S105：將所述抓取位姿進行逆變換，以所述逆變換后的位姿對所述第二點云進行仿射變換，將所述第二點云由機械臂基坐標系轉換到抓取工具坐標系；

S106：在所述抓取工具坐標系中構建所述抓取工具的包圍盒模型，設置閾值，當所述包圍盒模型中點的數量不超過所述閾值時，對目標工件執行抓取。

進一步地，對待抓取工件進行完整建模和/或部分建模，包括：

通過測量工具逐個對所述待抓取工件在平面上放置的穩定狀態進行測量；

當所述待抓取工件俯視測量時呈現的特征占其表面全部特征的比例均小于最小匹配比例，則僅對所述待抓取工件俯視測量時呈現的特征進行部分建模；

當所述待抓取工件俯視測量時呈現的特征占其表面全部特征的比例均大于最小匹配比例，則僅對所述待抓取工件進行全部建模；

當所述待抓取工件俯視測量時呈現的特征占其表面全部特征的比例中既有小于最小匹配比例的比例，又有不小于最小匹配比例的比例時，對所述待抓取工件進行完整建模，以及對小于最小匹配比例的比例對應的特征進行部分建模。

進一步地，所述自切割預處理，包括：