[發(fā)明專利]基于深度估計(jì)與類內(nèi)平均形狀的室內(nèi)物體位姿估計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110306434.4
• 申請(qǐng)日: 2021-03-23
• 公開(kāi)（公告）號(hào): CN113012227B
• 公開(kāi)（公告）日: 2022-09-20
• 發(fā)明（設(shè)計(jì)）人: 鄭柏倫;冼楚華
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T7/50;G06T7/10;G06V10/764;G06V10/82
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

本發(fā)明公開(kāi)了一種基于深度估計(jì)與類內(nèi)平均形狀的室內(nèi)物體位姿估計(jì)方法，包括步驟：1)獲取基礎(chǔ)數(shù)據(jù)，包括室內(nèi)場(chǎng)景RGB圖像數(shù)據(jù)和室內(nèi)物體三維模型歷史數(shù)據(jù)；2)利用數(shù)據(jù)估計(jì)室內(nèi)場(chǎng)景深度及對(duì)RGB圖像進(jìn)行物體分割和分類，計(jì)算物體對(duì)應(yīng)類別的類內(nèi)平均形狀，結(jié)合深度估計(jì)結(jié)果與類內(nèi)平均形狀重建物體歸一化空間坐標(biāo)；3)根據(jù)歸一化空間坐標(biāo)和深度圖進(jìn)行相似性變換，得出室內(nèi)物體位姿估計(jì)結(jié)果。本發(fā)明克服了當(dāng)前實(shí)例級(jí)別物體位姿估計(jì)方法的不足，可以對(duì)同一類物體的不同實(shí)例進(jìn)行位姿估計(jì)，另外，本發(fā)明僅需要RGB圖像，不需要獲取深度圖像，克服了深度圖像難以獲取的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及室內(nèi)裝修設(shè)計(jì)自動(dòng)化的技術(shù)領(lǐng)域，尤其是指一種基于深度估計(jì)與類內(nèi)平均形狀的室內(nèi)物體位姿估計(jì)方法。

背景技術(shù)

隨著社會(huì)經(jīng)濟(jì)的發(fā)展和人們生活質(zhì)量的提高，人們開(kāi)始更多地注重生活的美感與生活品質(zhì)，而合理而舒適的室內(nèi)家居物體布局，能夠讓居住環(huán)境更加美觀，可以極大地提高人們的生活質(zhì)量和滿足人們對(duì)美好生活的追求。在數(shù)字化的今天，人們可以利用現(xiàn)有的一些設(shè)計(jì)軟件，對(duì)家居場(chǎng)景進(jìn)行虛擬化的設(shè)計(jì)并得到相應(yīng)的可視化結(jié)果，并按照生成的設(shè)計(jì)圖來(lái)進(jìn)行最后的裝修布置。室內(nèi)物體擺放是指從物體數(shù)據(jù)庫(kù)中挑選出合適的物體并且將其以正確的姿態(tài)，大小擺放到三維場(chǎng)景中。由于物體數(shù)據(jù)的初始姿態(tài)和大小并不確定，放置到三維空間后并不一定契合當(dāng)前的三維空間，需要用戶手動(dòng)調(diào)整，這使得室內(nèi)物體擺放極為耗費(fèi)用戶時(shí)間和精力。因此我們要對(duì)物體的位姿進(jìn)行恰當(dāng)?shù)墓烙?jì)，以便于對(duì)物體進(jìn)行一定的旋轉(zhuǎn)和縮放，與房間的方向進(jìn)行對(duì)齊，適應(yīng)物體所處的空間大小。

目前有一系列的實(shí)例級(jí)別的6D位姿估計(jì)方法，但是這些方法只能預(yù)測(cè)已經(jīng)在訓(xùn)練時(shí)輸入過(guò)的三維模型的平移和空間旋轉(zhuǎn)矩陣，對(duì)于未曾見(jiàn)過(guò)的模型，這些實(shí)例級(jí)別的6D位姿估計(jì)方法便無(wú)能為力。而室內(nèi)物體模型是比較大的數(shù)據(jù)集，例如照相機(jī)便有著多種模型，普通單反相機(jī)，全畫幅相機(jī)等。因此，實(shí)例級(jí)別的6D位姿估計(jì)方法不能夠滿足我們的要求。目前已經(jīng)有一些關(guān)于類別級(jí)姿態(tài)估計(jì)的工作，但是它們都做了簡(jiǎn)化的假設(shè)。首先，這些算法將旋轉(zhuǎn)預(yù)測(cè)限制為僅沿重力方向(僅四個(gè)自由度)。其次，他們關(guān)注幾個(gè)大尺度的對(duì)象類別，例如椅子、沙發(fā)、床或汽車，并且不考慮物體的對(duì)稱性。相反，在物體位姿估計(jì)任務(wù)中，我們需要估計(jì)各種小比例物體的姿態(tài)，由于這些物體具有更大的姿態(tài)變化，這通常比大比例的物體更具挑戰(zhàn)性。也有一些工作研究了小比例物體的位姿估計(jì)方法，但是這些工作都要求事先獲取室內(nèi)場(chǎng)景的深度圖，相比于RGB圖像，深度圖像的獲取更為艱難且不精確。如何僅根據(jù)RGB圖像對(duì)物體進(jìn)行類級(jí)別位姿估計(jì)是一個(gè)極具挑戰(zhàn)性的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提出了一種基于深度估計(jì)與類內(nèi)平均形狀的室內(nèi)物體位姿估計(jì)方法，克服了當(dāng)前實(shí)例級(jí)別物體位姿估計(jì)方法的不足，可以對(duì)同一類物體的不同實(shí)例進(jìn)行位姿估計(jì)，另外，本發(fā)明僅需要RGB圖像，不需要獲取深度圖像，克服了深度圖像難以獲取的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：基于深度估計(jì)與類內(nèi)平均形狀的室內(nèi)物體位姿估計(jì)方法，包括以下步驟：

1)獲取基礎(chǔ)數(shù)據(jù)，包括室內(nèi)場(chǎng)景RGB圖像數(shù)據(jù)和室內(nèi)物體三維模型歷史數(shù)據(jù)；

2)利用數(shù)據(jù)估計(jì)室內(nèi)場(chǎng)景深度及對(duì)RGB圖像進(jìn)行室內(nèi)物體分割和分類，計(jì)算物體對(duì)應(yīng)類別的類內(nèi)平均形狀，結(jié)合深度估計(jì)結(jié)果與類內(nèi)平均形狀重建室內(nèi)物體歸一化空間坐標(biāo)；

3)根據(jù)歸一化空間坐標(biāo)和深度圖進(jìn)行相似性變換，得出室內(nèi)物體位姿估計(jì)結(jié)果。

進(jìn)一步，采用可視化的方法將室內(nèi)物體位姿估計(jì)結(jié)果顯示在設(shè)計(jì)軟件上，其中，所述可視化是指將物體位姿估計(jì)結(jié)果通過(guò)繪制3D包圍盒表示出來(lái)。

在步驟1)中，所述室內(nèi)場(chǎng)景RGB圖像數(shù)據(jù)是指通過(guò)第三方設(shè)計(jì)軟件加載室內(nèi)三維場(chǎng)景模型進(jìn)行渲染后截圖獲取的圖像數(shù)據(jù)；所述室內(nèi)物體三維模型歷史數(shù)據(jù)是指通過(guò)第三方設(shè)計(jì)軟件數(shù)據(jù)庫(kù)獲取的各類室內(nèi)物體三維模型。