[發明專利]基于全局和局部視覺語義的機器人動態抓取方法及系統

有效

• 申請號: 201910059240.1
• 申請日: 2019-01-22
• 公開（公告）號: CN109483554B
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 劉辛軍;葉彥雷;李鵬;謝福貴;于超
• 申請（專利權）人: 清華大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種基于全局和局部視覺語義的機器人動態抓取方法及系統，其中，該方法包括以下步驟：識別待抓取物體的物體類別與物體尺寸，獲取待抓取物體在相機坐標系中的位置和姿態，確定夾手的尺寸；通過全局雙目相機對機械臂靜態軌跡規劃與局部雙目相機對機械臂動態軌跡規劃對待抓取物體進行抓取，以實現最優抓取。該方法提升被抓取物體位置和姿態的定位精確，自適應調整夾手的力度和大小，及動態規劃和響應擾動，同時，簡化物體的識別算法，提高物體識別的準確性。

技術領域

本發明涉及機器人視覺伺服技術領域，特別涉及一種基于全局和局部視覺語義的機器人動態抓取方法及系統。

背景技術

在相關技術中，實現物體的抓取的方式有兩種，其中，第1種靜態的方法：相機作為全局相機固定于機架，定點進行拍照，獲得圖片，進行分析處理，計算得到抓取點的位置和姿態，將指令傳輸至機器人控制器，機械臂執行預定義的抓取流程。同樣相機可以作為局部相機固定于機械臂的末端，機械臂運行到某一位置進行定點拍照，執行同樣預定義的抓取流程。第2種動態的方法：相機固定于機械臂的末端。采用視覺伺服的方法，追蹤物體，當末端抓手相靠近物體，執行抓取動作。當然，相機也可以固定于側方，但要清楚捕獲到抓取物體的圖像，但同時也會引入大的圖像干擾。

但當前在機器人抓取中通常單一獲取數據，從固定于機架的全局相機或者從固定于機械手臂末端的局部相機，很少進行多感知交互數據的處理。單一靜態抓取方式和動態抓取方式的不足：靜態抓取方法，無法對外界環境進行動態響應，比如抓取物體掉落，無法進行重新動態軌跡規劃。此外，靜態的抓取方法會限制定位的精度，相機距離物體過高會使得物體定位精度過低，當然，相機距離物體過近會增加機械臂碰撞的風險，不利于軌跡規劃。對于動態抓取方法，往往將相機固定于末端，在實現全局定位的過程中，存在視野不足的缺陷，無法進行全局統計物體。

在相關技術中，當前實現物體識別的方式有兩種，其中，第1種傳統圖像處理的方法：針對不同的物體，尋找可以區分的物體特征(顏色，尺寸，形狀)，設計算法，識別物體。常使用OpenCV等圖像庫，設計算法，進行物體的識別。第2種采用深度學習的方法：將原始圖片輸入到神經網絡，輸出得到物體的類別標簽。實現的過程：首先對圖片貼標簽，獲得數據集，設計神經網絡，將數據輸入到網絡中，得到物體的類別和在圖片上的位置，再通過圖像處理的方式獲得抓取點的位置。

但采用傳統視覺識別的方式，需要手工設計大量的算子，效率太低，且識別的準確性不夠高。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于全局和局部視覺語義的機器人動態抓取方法，該方法提升被抓取物體位置和姿態的定位精確，自適應調整夾手的力度和大小，及動態規劃和響應擾動，同時，簡化物體的識別算法，提高物體識別的準確性。

本發明的另一個目的在于提出一種基于全局和局部視覺語義的機器人動態抓取系統。

為達到上述目的，本發明一方面提出了基于全局和局部視覺語義的機器人動態抓取方法，包括以下步驟：步驟S1：識別待抓取物體的物體類別與物體尺寸，獲取所述待抓取物體在相機坐標系中的位置和姿態，確定夾手的尺寸；步驟S2：通過全局雙目相機對機械臂靜態軌跡規劃與局部雙目相機對所述機械臂動態軌跡規劃對所述待抓取物體進行抓取，以實現最優抓取。