[發明專利]一種機械臂抓取物體實時三維重建方法

有效

• 申請號: 202110562896.2
• 申請日: 2021-05-24
• 公開（公告）號: CN113313815B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 崔林艷;郭政航;賴嵩
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/187
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 張乾楨;江亞平

本發明涉及一種機械臂抓取物體實時三維重建方法，包括以下步驟：(1)利用RGB?D深度相機獲取場景深度信息和彩色圖像，基于深度信息進行實時背景分割，將背景從重建場景中剔除，僅保留動態物體；(2)針對步驟(1)保留的動態物體，通過對動態物體實時位姿解算，獲取動態物體三維點云模型；(3)針對步驟(2)獲取的動態物體三維點云模型，剔除動態物體三維點云模型中的機械爪，獲得機械臂抓取物體的三維點云模型。本發明能實現機械爪與目標模型之間的完整分割，改善在機械爪影響下，三維重建模型精度，提升模型分割準確性，提升三維重建速度。

技術領域

本發明涉及動態物體實時三維重建領域，具體涉及一種機械臂抓取物體實時三維重建方法。

背景技術

三維重建是指對三維物體建立合適的計算機模型并進行數字處理的過程，是計算機或智能機器人感知環境的最直接方式，在各行各業都用之廣泛的應用，如何快速有效的獲得精確模型，已成為學術和工業領域重要的研究課題。

隨著三維重建研究領域的不斷發展，三維模型的建立由傳統的接觸式方法逐漸發展為以視覺三維重建為代表的多種非接觸式方法，視覺三維重建因其適用范圍廣、成本低等優勢，成為這一領域的研究熱點。根據圖像數據來源，基于視覺的三維重建大體可分為多視圖三維重建和基于視覺SLAM的三維重建。其中基于多視圖的稠密三維重建算法運行時間較長，無法滿足實時三維重建的需要，于是，能夠進行實時三維重建的視覺SLAM的重建方法成為了研究的重點方向。

但與此同時，基于視覺的三維重建技術，又存在著種種制約，首先在重建項目的原理層面上來說，“靜態世界假設”是目前基于視覺三維重建方法共同的依賴，假設中規定，建模場景內所有物體是絕對靜止的，然而這樣的場景在實際中難以達到，場景內其他物體產生的噪聲對重建結果影響嚴重，使得三維重建技術難以在普通場景進行推廣應用；其次，三維模型的構建需要實時解算相機位置與姿態的變化，在這過程中需要消耗大量的計算資源；最后，在重建物體與場景內其他物體產生互相遮擋，并且模型較難取得準確的先驗信息時，如何精確的將目標物體準確的分割出來是目前的難點所在。

發明內容

本發明的技術解決的問題是：克服現有技術不足，提供動態場景實時視覺三維重建方法，實現機械爪與目標模型之間的完整分割，改善在機械爪影響下，三維重建模型精度，提升模型分割準確性，提升三維重建速度。

本發明的技術解決方案為一種機械臂抓取物體實時三維重建方法，包括以下步驟：

(1)利用RGB-D深度相機獲取場景深度信息和彩色圖像，基于深度信息進行實時背景分割，將背景從重建場景中剔除，僅保留動態物體；

(2)針對步驟(1)保留的動態物體，通過對動態物體實時位姿解算，獲取動態物體三維點云模型；

(3)針對步驟(2)獲取的動態物體三維點云模型，剔除動態物體三維點云模型中的機械爪，獲得機械臂抓取物體的三維點云模型。

進一步的，所述步驟(1)中，利用RGB-D深度相機獲取場景深度信息和彩色圖像，基于深度信息進行實時背景分割，將背景從重建場景中剔除，僅保留動態物體的方法如下：

由RGBD相機采集得到的彩色圖和深度圖，但由于深度圖采集傳感器和彩色圖采集傳感器的視場和空間坐標系不同，需要對深度圖和彩色圖進行對齊操作，首先將深度圖的像素點還原在深度坐標系下，再將深度空間的深度點映射到世界坐標系下，再將世界坐標系的深度點轉換到彩色攝像頭坐標系，并將彩色攝像頭坐標系下的深度點映射到Z＝1的平面上。

接著根據深度圖對彩色圖進行分割，保證視場內只有被建模的物體，增強后續位姿估計的準確性。

進一步的，所述步驟(2)中，針對步驟(1)保留的動態物體，通過對動態物體實時位姿解算，獲取動態物體三維點云模型，方法如下：