[發(fā)明專利]一種高效的物體6D姿態(tài)估計算法

有效

• 申請?zhí)枺?/td>: 201911271915.5
• 申請日: 2019-12-12
• 公開（公告）號: CN111145253B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 梁國遠(yuǎn);陳帆;馮亞春;吳新宇;馮偉
• 申請（專利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/10;G06V10/80;G06V10/82;G06V10/766
• 代理公司: 北京市誠輝律師事務(wù)所 11430
• 代理人: 楊帥峰

1.一種高效的物體6D姿態(tài)估計算法，其特征在于，包括以下步驟：

1)將物體從場景中分割出區(qū)域以及對應(yīng)的深度圖，具體為：

通過改進(jìn)的基于U-Net的網(wǎng)絡(luò)實現(xiàn)的，包括：

使用RGB-D數(shù)據(jù)作為輸入，使用兩個主干網(wǎng)絡(luò)分別從RGB圖像和深度圖提取特征；

為了提取色彩特征，ResNet被選為一個主干；用于從深度圖提取特征的另一個骨干網(wǎng)由幾個卷積和池化層組成；

使用插值來填充深度圖，讓彩色主干網(wǎng)的輸出通道數(shù)多于深度主干網(wǎng)的輸出通道數(shù)；

網(wǎng)絡(luò)的最終輸出將主要取決于顏色特征，而深度特征將用作輔助信息；

2)根據(jù)分割出來的區(qū)域以及對應(yīng)的深度圖，確定物體在相機(jī)坐標(biāo)系下，被相機(jī)觀測到的那個面的3D坐標(biāo)信息，得到物體的點云數(shù)據(jù)，然后將其送到6D姿態(tài)估計網(wǎng)絡(luò)中，直接處理點云數(shù)據(jù)，得到6D姿態(tài)信息；所述6D姿態(tài)估計網(wǎng)絡(luò)包括兩個分支：一個分支由多個Conv1D層和一個Avg-Pool層組成，該層對整個點云數(shù)據(jù)的全局位置信息進(jìn)行編碼；另一分支由三個SA+模塊組成，提取點云數(shù)據(jù)的局部結(jié)構(gòu)以及局部結(jié)構(gòu)的位置信息；然后，將兩個分支提取的特征連接在一起，并輸入到多層連接的回歸網(wǎng)絡(luò)中，回歸網(wǎng)絡(luò)輸出6D姿態(tài)信息。

2.根據(jù)權(quán)利要求1所述的一種高效的物體6D姿態(tài)估計算法，其特征在于：

所述步驟2)中，SA+模塊的工作過程可以分為三個階段：

首先，使用iterative?farthest?point?sampling(FPS)算法對點云物體數(shù)據(jù)進(jìn)行采樣m個點，

再以這m個點為中心聚合k個點，這樣我們就得到了m個小點集(P_i＝[p_i1,p_i2,...,p_ik]，p_i∈R^k*(d+C),i＝1,2,...,m)；

最后，這里有兩個處理分支，一個分支用于編碼小點集的絕對位置信息，另外一個分支進(jìn)一步聚合特征以及編碼局部幾何結(jié)構(gòu)特征。