[發明專利]一種用于機器人三維不規則物體自動識別及抓取的方法

有效

• 申請號: 201911346789.5
• 申請日: 2019-12-24
• 公開（公告）號: CN111136656B
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 楊鋒
• 申請（專利權）人: 上海智殷自動化科技有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J19/02;G06K9/62;G06T7/73
• 代理公司: 天津英揚昊睿專利代理事務所(普通合伙) 12227
• 代理人: 吳揚

1.一種用于機器人三維不規則物體自動識別及抓取的方法，其操作方法為：

一、前期數據收集：由于客戶鎖具規格多樣，各個產品形狀和姿態各異，針對于此，客戶端軟件首先通過采集各個鎖具圖像，提取鎖具中關鍵特征，同時建立各個產品的點云庫，并存儲在客戶端軟件中；

二、數據測試：將相機安裝在機器人末端法蘭盤上，確定相機安裝在指定位置，將工件放置在工作臺上，當工件到達機器人掃描區域，機器人攜帶相機做直線運動掃描產品表面，以獲取產品表面信息,所述指定位置確定方法為：

機器人相機標定確認相機坐標系和機器人末端法蘭盤位置的關系即獲取

Step1:打印視覺標定板；

Step2:將標定板置于平整開闊的位置，且保證機器人位姿可達；

Step3:通過在機器人末端安裝針尖工具，并示教該針尖工具，確立工具坐標系與機器人世界坐標系的關系該針尖工具用于標定板的標定；

Step4:通過使用機器人末端安裝針尖工具，示教出標定板的工件坐標系，其中坐標軸的中心點為工件坐標系的原點，記當前工件坐標系為

Step5:移動相機至標定板正上方，使得相機打出的激光線與標定板的X軸對齊，沿著激光線的方向相機到標定板的距離一致，沿著相機長度方向即與激光線垂直的方向，相機到標定板的距離也一致，實現了相機坐標系與標定板坐標系方向對齊；

Step6:記Step5中對齊后的機器人法蘭盤的點位在工件坐標系下的點位為pAlignMiddle，從而計算出接下來相機移動的預起始位置、終止位置；

Step7:將機器人的相機激光線移動至預起始位置點；并啟動機器人從預起始位置點向終止位置點的直線移動，速度為100mm/s；機器人從靜止到移動達到100mm/s的勻速會有加減速過程，我們使得機器人在直線運行50mm后發出信號觸發相機取圖，此時信號的觸發點即為采集圖像的Y坐標起始位，記該點法蘭盤的位置為pAlignStart，則pAlignStart.y＝pAlignMiddle.y–200；將相機的Y向取圖長度設置為350mm；

Step8:取圖完畢后，將在通過相機提供的軟件查看所掃描的圖像多個任意位置的Z值大小是否一致，從而確認相機采圖平面是否與標定板平面平行；記錄此時標定板坐標原點在圖像坐標系中的點，并記錄其坐標值為X,Y,Z，由于取圖時我們保證相機與標定板坐標在方向上是對齊的，因此其繞X,Y,Z軸的旋轉歐拉角均為0，從而得到

Step9:將以上點位及坐標系分別以齊次坐標系的方式表達為如下形式：

表示標定板中心點與機器人世界坐標系的關系；

表示機器人末端法蘭盤到標定板中心點的關系；

表示標定板與相機之間的關系；

所述即為相機的工具坐標系，也就是相機坐標系到法蘭盤中心點坐標系的轉換關系；

三、數據分析：當機器人開始識別和抓取鎖具時，機器人通過末端夾持的相機從指定位置開始掃描鎖具，獲得鎖具的圖像，該圖像存儲于客戶端軟件中，客戶端軟件通過該圖像與自身存儲的點云庫進行匹配，確立產品型號，如果該型號產品存在，則客戶端軟件通過該圖像中的關鍵特征與點云庫進行匹配，通過確立鎖具抓取點位姿，客戶端通過Socket通信，將該位姿發送給機器人；

四、機器人運動到抓取點位姿，實現對鎖具的抓取。

2.按照權利要求1所述的一種用于機器人三維不規則物體自動識別及抓取的方法，其特征在于，抓取點位姿是通過獲取圖像抓取點與模板抓取點的轉換矩陣，將機器人在模板下的抓取點轉換為機器人在當前掃描圖像下的抓取點，機器人通過掃描目標工件，獲得所需圖像目標特征，并根據所述所需圖像目標特征與模板中特征對比給出轉換矩陣H，以及示教模板位置的抓取點確立當前圖像機器人抓取點計算如下所示：

Step1：求取相機原點到基坐標的位姿，求取公式如下所示：

為相機起始拍照點，也就是相機的原點，

為標定的相機原點與工具末端法蘭的坐標系；

Step2：求取位置2機器人抓取位姿，聯立如下公式2-1、2-2、2-3、2-4得公式2-5，即為所求機器人在位置2的抓取點：