[發(fā)明專利]基于深度估計(jì)與類內(nèi)平均形狀的室內(nèi)物體位姿估計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110306434.4
• 申請(qǐng)日: 2021-03-23
• 公開（公告）號(hào): CN113012227B
• 公開（公告）日: 2022-09-20
• 發(fā)明（設(shè)計(jì)）人: 鄭柏倫;冼楚華
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T7/50;G06T7/10;G06V10/764;G06V10/82
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

1.基于深度估計(jì)與類內(nèi)平均形狀的室內(nèi)物體位姿估計(jì)方法，其特征在于，包括以下步驟：

1)獲取基礎(chǔ)數(shù)據(jù)，包括室內(nèi)場(chǎng)景RGB圖像數(shù)據(jù)和室內(nèi)物體三維模型歷史數(shù)據(jù)；

2)使用RGB圖像對(duì)室內(nèi)場(chǎng)景進(jìn)行深度估計(jì)，對(duì)RGB圖像進(jìn)行室內(nèi)物體分割并預(yù)測(cè)分類，計(jì)算物體所屬分類的類內(nèi)平均形狀，結(jié)合深度估計(jì)結(jié)果和類內(nèi)平均形狀，重建室內(nèi)物體歸一化空間坐標(biāo)，包括以下步驟：

2.1)采用全卷積網(wǎng)絡(luò)對(duì)RGB圖像進(jìn)行深度估計(jì)：

D＝Ω(I)

式中，D表示預(yù)測(cè)的深度圖，Ω表示全卷積網(wǎng)絡(luò)，I表示輸入的RGB圖像；

2.2)采用Mask-RCNN對(duì)RGB圖像進(jìn)行物體分割和分類，計(jì)算物體所屬類別的類內(nèi)平均形狀：

式中，M_c表示計(jì)算得出的類內(nèi)平均形狀，c＝1,2,…,n，c為類別序號(hào)，n為類別個(gè)數(shù)，Ψ表示由三層全連接卷積神經(jīng)網(wǎng)絡(luò)組成的嵌入向量解碼器，表示第c類物體第i個(gè)實(shí)例的編碼特征向量，i＝1,2,…,m，i為實(shí)例序號(hào)，m為實(shí)例個(gè)數(shù)，定義為：

式中，表示第c類物體第i個(gè)實(shí)例的三維模型，φ表示PointNet模型編碼器；

2.3)結(jié)合深度估計(jì)結(jié)果和類內(nèi)平均形狀獲得重建的歸一化空間坐標(biāo)：

P＝Φ(σ(M_c)⊙θ(D))

式中，P為重建得出的歸一化空間坐標(biāo)；Φ表示重建網(wǎng)絡(luò)，由共享權(quán)重的四層感知機(jī)構(gòu)成；σ表示類內(nèi)平均形狀特征提取網(wǎng)絡(luò)，由PointNet網(wǎng)絡(luò)構(gòu)成；⊙表示特征拼接，將類內(nèi)平均形狀特征和深度圖像特征進(jìn)行拼接；θ表示深度圖像特征提取網(wǎng)絡(luò)，由一個(gè)四層感知機(jī)構(gòu)成；

3)根據(jù)歸一化空間坐標(biāo)和深度圖進(jìn)行相似性變換，得出室內(nèi)物體位姿估計(jì)結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于深度估計(jì)與類內(nèi)平均形狀的室內(nèi)物體位姿估計(jì)方法，其特征在于：采用可視化的方法將室內(nèi)物體位姿估計(jì)結(jié)果顯示在設(shè)計(jì)軟件上，其中，所述可視化是指將物體位姿估計(jì)結(jié)果通過繪制3D包圍盒表示出來。

3.根據(jù)權(quán)利要求1所述的基于深度估計(jì)與類內(nèi)平均形狀的室內(nèi)物體位姿估計(jì)方法，其特征在于：在步驟1)中，所述室內(nèi)場(chǎng)景RGB圖像數(shù)據(jù)是指通過第三方設(shè)計(jì)軟件加載室內(nèi)三維場(chǎng)景模型進(jìn)行渲染后截圖獲取的圖像數(shù)據(jù)；所述室內(nèi)物體三維模型歷史數(shù)據(jù)是指通過第三方設(shè)計(jì)軟件數(shù)據(jù)庫(kù)獲取的各類室內(nèi)物體三維模型。

4.根據(jù)權(quán)利要求1所述的基于深度估計(jì)與類內(nèi)平均形狀的室內(nèi)物體位姿估計(jì)方法，其特征在于：在步驟3)中，對(duì)步驟2)計(jì)算得出的物體歸一化空間坐標(biāo)P，與深度估計(jì)結(jié)果D進(jìn)行相似性變換，計(jì)算室內(nèi)物體位姿估計(jì)結(jié)果，其中采用以下公式：

T＝f(D，P)

式中，T表示計(jì)算得出的位姿估計(jì)矩陣，包括從歸一化空間坐標(biāo)變換到深度估計(jì)結(jié)果的3自由度位移和3自由度旋轉(zhuǎn)，f表示相似性變換中使用的Umeyama算法。