[發(fā)明專利]一種高效的物體6D姿態(tài)估計(jì)算法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911271915.5
• 申請(qǐng)日: 2019-12-12
• 公開（公告）號(hào): CN111145253B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 梁國(guó)遠(yuǎn);陳帆;馮亞春;吳新宇;馮偉
• 申請(qǐng)（專利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T7/10;G06V10/80;G06V10/82;G06V10/766
• 代理公司: 北京市誠(chéng)輝律師事務(wù)所 11430
• 代理人: 楊帥峰

本發(fā)明涉一種高效的物體6D姿態(tài)估計(jì)算法，包括：1)將物體從場(chǎng)景中分割出區(qū)域以及對(duì)應(yīng)的深度圖；2)根據(jù)分割出來(lái)的區(qū)域以及對(duì)應(yīng)的深度圖，確定物體在相機(jī)坐標(biāo)系下，被相機(jī)觀測(cè)到的那個(gè)面的3D坐標(biāo)信息，得到物體的點(diǎn)云數(shù)據(jù)，然后將其送到6D姿態(tài)估計(jì)網(wǎng)絡(luò)中，直接處理點(diǎn)云數(shù)據(jù)，得到6D姿態(tài)信息。本發(fā)明提出一種高效的物體6D姿態(tài)估計(jì)算法，其基于高效深度神經(jīng)網(wǎng)絡(luò)的智能視覺(jué)系統(tǒng)，以RGB?D圖像作為輸入的目標(biāo)識(shí)別和6D姿態(tài)估計(jì)，具有更高的運(yùn)行速度和準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明屬于智能裝配領(lǐng)域，涉及一種高效的物體6D姿態(tài)估計(jì)算法。

背景技術(shù)

流水線是制造業(yè)歷史上最偉大的發(fā)明之一。隨著人工智能和機(jī)器人技術(shù)的飛速發(fā)展，越來(lái)越多的智能機(jī)器人被引入傳統(tǒng)的流水線并取代了人工。這些機(jī)器人通常配備有智能視覺(jué)系統(tǒng)，該系統(tǒng)不僅可以檢測(cè)工作空間中的零件，還可以在采取進(jìn)一步的動(dòng)作(例如抓緊，旋轉(zhuǎn)，移動(dòng)，裝配等)之前估算其姿態(tài)參數(shù)。通常，來(lái)自物體識(shí)別和6D姿態(tài)的估算圖像幾乎是各種機(jī)器人應(yīng)用程序的基礎(chǔ)，例如機(jī)器人操縱，機(jī)器人與人的互動(dòng)和虛擬現(xiàn)實(shí)。在過(guò)去的十年中，已經(jīng)報(bào)道了許多方法。但是，由于背景的混亂，物體之間的嚴(yán)重遮擋以及光照條件的變化，尤其是在雜亂的場(chǎng)景中，該問(wèn)題仍然具有挑戰(zhàn)性。大多數(shù)經(jīng)典方法都使用RGB圖片作為輸入，其中一些方法使用RGB-D數(shù)據(jù)作為輸入。通常，這些方法的基本思想是通過(guò)在不同視點(diǎn)之間建立對(duì)應(yīng)的2D圖像特征來(lái)估計(jì)對(duì)象姿態(tài)，或構(gòu)造從3D模型到2D圖像的地圖。在處理低紋理物體和不穩(wěn)定的光照條件時(shí)通常會(huì)遇到困難。隨著可靠的深度傳感器的問(wèn)世，基于RGB-D數(shù)據(jù)的方法變得越來(lái)越流行，并且在最近取得了重大進(jìn)展。與RGB數(shù)據(jù)相比，深度數(shù)據(jù)不受紋理和光照變化引起的干擾，這使得使用RGB-D數(shù)據(jù)的方法比僅使用RGB的方法更可靠。但是，實(shí)時(shí)實(shí)現(xiàn)準(zhǔn)確的姿態(tài)估計(jì)仍然是一個(gè)很大的挑戰(zhàn)。

發(fā)明內(nèi)容

為解決上述背景技術(shù)中存在的問(wèn)題，本發(fā)明提出一種高效的物體6D姿態(tài)估計(jì)算法，其基于高效深度神經(jīng)網(wǎng)絡(luò)的智能視覺(jué)系統(tǒng)，以RGB-D圖像作為輸入的目標(biāo)識(shí)別和6D姿態(tài)估計(jì)，具有更高的運(yùn)行速度和準(zhǔn)確率。

本發(fā)明解決上述問(wèn)題的技術(shù)方案是：一種高效的物體6D姿態(tài)估計(jì)算法，其特殊之處在于，包括以下步驟：

1)將物體從場(chǎng)景中分割出區(qū)域以及對(duì)應(yīng)的深度圖；

2)根據(jù)分割出來(lái)的區(qū)域以及對(duì)應(yīng)的深度圖，確定物體在相機(jī)坐標(biāo)系下，被相機(jī)觀測(cè)到的那個(gè)面的3D坐標(biāo)信息，得到物體的點(diǎn)云數(shù)據(jù)，然后將其送到6D姿態(tài)估計(jì)網(wǎng)絡(luò)中，直接處理點(diǎn)云數(shù)據(jù)，得到6D姿態(tài)信息。

優(yōu)先地，所述步驟1)具體為：

通過(guò)改進(jìn)的基于U-Net的網(wǎng)絡(luò)實(shí)現(xiàn)的，包括：

使用RGB-D數(shù)據(jù)作為輸入，使用兩個(gè)主干網(wǎng)絡(luò)分別從RGB圖像和深度圖提取特征；

為了提取色彩特征，ResNet被選為一個(gè)主干；用于從深度圖提取特征的另一個(gè)骨干網(wǎng)由幾個(gè)卷積和池化層組成；

使用插值來(lái)填充深度圖，讓彩色主干網(wǎng)的輸出通道數(shù)多于深度主干網(wǎng)的輸出通道數(shù)；

網(wǎng)絡(luò)的最終輸出將主要取決于顏色特征，而深度特征將用作輔助信息。

優(yōu)先地，所述步驟2)中，

6D姿態(tài)估計(jì)網(wǎng)絡(luò)包括兩個(gè)分支：一個(gè)分支由多個(gè)Conv1D層和一個(gè)Avg-Pool層組成，該層對(duì)整個(gè)點(diǎn)云數(shù)據(jù)的全局位置信息進(jìn)行編碼；另一分支由三個(gè)SA+模塊組成，提取點(diǎn)云數(shù)據(jù)的局部結(jié)構(gòu)以及局部結(jié)構(gòu)的位置信息；然后，將兩個(gè)分支提取的特征連接在一起，并輸入到多層連接的回歸網(wǎng)絡(luò)中，回歸網(wǎng)絡(luò)的輸出6D姿態(tài)信息。

優(yōu)先地，所述步驟2)中，SA+模塊的工作過(guò)程可以分為三個(gè)階段：

首先，使用iterative?farthest?point?sampling(FPS)算法對(duì)點(diǎn)云物體數(shù)據(jù)進(jìn)行采樣m個(gè)點(diǎn)，