[發明專利]工件識別和位姿檢測方法、系統及機械臂的抓取控制方法

有效

• 申請號: 202210732860.9
• 申請日: 2022-06-24
• 公開（公告）號: CN114952809B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 徐剛;趙有港;崔玥;周翔;許允款;曾晶;肖江劍
• 申請（專利權）人: 中國科學院寧波材料技術與工程研究所
• 主分類號: G06T7/80
• 分類號: G06T7/80;B25J9/08;B25J9/16;B25J13/08;B25J15/08;G06N3/04
• 代理公司: 南京利豐知識產權代理事務所(特殊普通合伙) 32256
• 代理人: 王鋒

本發明公開了一種工件識別和位姿檢測方法、系統及機械臂的抓取控制方法。所述工件識別和位姿檢測方法包括：采集待識別場景中的2D圖像和3D點云圖像；基于所述2D圖像識別所述待識別場景中的目標工件，并基于映射關系進行實例分割，獲得所述目標工件對應的點云區域；基于深度學習算法，在所述點云區域中進行位姿檢測，獲取所述目標工件的位姿信息。本發明所提供的工件識別和位姿檢測方法在小工件散亂堆疊的抓取場景中，規避了跨模態數據特征提取及匹配難題，同時避免了過于復雜的數據處理計算，通過結合2D圖像和3D點云圖像，為工件堆疊識別和抓取的應用場景在有效提升識別效率和提升抓取效率這個方向上提供了優化的解決方案。

技術領域

本發明涉及圖像識別與機械控制技術領域，尤其涉及一種工件識別和位姿檢測方法、系統及機械臂的抓取控制方法。

背景技術

基于二維/三維視覺的機器人抓取技術，已經在物流快遞、倉庫搬運、拆碼垛等簡單場景中廣泛應用，視覺引導的機器人增強了面對復雜環境的感知能力。在工業抓取場景中，二維圖像能夠提供致密豐富的紋理信息，經過圖像處理和識別，獲取被抓取工件的位置(二維坐標)，但無法獲取深度信息；三維圖像能夠提供抓取場景中的距離信息，但無法獲得豐富的細節信息，導致抓取精度的降低。兩類數據具有較好的互補性，融合兩種模態的數據，可以實現對工件抓取場景進行更全面的感知。近年來，隨著工件6D姿態估計算法的研究日趨增加，設備的計算能力日益提高，機器人抓取系統已經在工件無序散亂堆疊、無序工件裝配、柔性抓取等相關領域取得創造性的突破。

其中，目標物體的識別與位姿檢測是機器人抓取任務的關鍵先決條件。自計算機視覺早期以來，目標6D位姿檢測與估計是相對于給定參考系的固定坐標系，通過一個平移向量t∈R3和一個旋轉矩陣R∈SO(3)來描述物體對象位姿信息，是一個長期存在的挑戰和一個開放的研究領域。

由于現實世界中物體的多樣性、潛在的物體對稱性、場景中的雜波和遮擋以及變化的光照條件，目標6D位姿檢測與估計的任務的核心步驟就是首先通過各種算法獲取目標物體在相機坐標系下的質心位置坐標(x，y，z)，然后將模型匹配到該質心位置，得到當前目標物體在相機坐標系的旋轉位姿(R_x，R_y，R_z)，基于手眼標定矩陣轉換，獲得目標物體在機械臂基坐標下的位置，最后控制機械臂運動進行抓取作業，具有一定的挑戰性。從技術的角度來看，三維點云數據與二維圖像屬于不同模態的數據，如何巧妙的融合兩者的數據，并根據抓取場景內工件的散亂堆疊情況分析出可靠的幾何特征，最后識別出場景中可抓取的工件，并獲取位姿信息，是國內外科技工作者著力探索一個研究方向。