[發(fā)明專利]基于二維圖像生成房間結(jié)構(gòu)模型的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011040132.9
• 申請(qǐng)日: 2020-09-28
• 公開(kāi)（公告）號(hào): CN112116714A
• 公開(kāi)（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 劉程林
• 申請(qǐng)（專利權(quán)）人: 貝殼技術(shù)有限公司
• 主分類號(hào): G06T17/10
• 分類號(hào): G06T17/10;G06T19/20;G06T7/10;G06T3/00
• 代理公司: 北京思源智匯知識(shí)產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

1.一種基于二維圖像生成房間結(jié)構(gòu)模型的方法，其特征在于，所述方法包括：

獲取房間的單張二維圖像；

將所述二維圖像輸入預(yù)先訓(xùn)練的三維圖像神經(jīng)網(wǎng)絡(luò)，經(jīng)所述三維圖像神經(jīng)網(wǎng)絡(luò)輸出所述二維圖像對(duì)應(yīng)的深度信息及結(jié)構(gòu)分割信息、物品分割信息；所述三維圖像神經(jīng)網(wǎng)絡(luò)根據(jù)預(yù)先獲取的二維圖像和對(duì)應(yīng)的三維圖像的對(duì)應(yīng)關(guān)系訓(xùn)練；

獲取所述深度信息對(duì)應(yīng)點(diǎn)云數(shù)據(jù)；根據(jù)所述結(jié)構(gòu)分割信息、物品分割信息，去除所述點(diǎn)云數(shù)據(jù)中的物品信息，保留結(jié)構(gòu)信息；

獲取所述結(jié)構(gòu)信息中的水平面信息和高度信息；

根據(jù)所述水平面信息和高度信息對(duì)所述房間建立所述二維圖像對(duì)應(yīng)的三維房間結(jié)構(gòu)模型。

2.如權(quán)利要求1所述的方法，其特征在于，所述三維圖像神經(jīng)網(wǎng)絡(luò)，根據(jù)如下方式訓(xùn)練：

獲取二維圖像及對(duì)應(yīng)的三維圖像；

通過(guò)密集卷積神經(jīng)網(wǎng)絡(luò)模型，將所述二維圖像中對(duì)應(yīng)的像素與三維圖像中的深度信息及結(jié)構(gòu)分割信息對(duì)應(yīng)，得到對(duì)應(yīng)信息；

對(duì)所述對(duì)應(yīng)信息進(jìn)行處理，得到二維圖像與三維圖像的對(duì)應(yīng)關(guān)系；

根據(jù)所述對(duì)應(yīng)關(guān)系對(duì)所述三維圖像神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

3.如權(quán)利要求2所述的方法，其特征在于，所述三維圖像神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，還包括：

通過(guò)掩膜卷積神經(jīng)網(wǎng)絡(luò)模型，獲取所述二維圖像中房間物品的物品分割信息；

根據(jù)所述物品分割信息與對(duì)應(yīng)的三維圖像中的物品信息對(duì)所述三維圖像神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

4.如權(quán)利要求1所述的方法，其特征在于，所述獲取所述深度信息對(duì)應(yīng)點(diǎn)云數(shù)據(jù)，包括：

根據(jù)所述二維圖像對(duì)應(yīng)相機(jī)的參數(shù)，將所述深度信息轉(zhuǎn)換為點(diǎn)云數(shù)據(jù)。

5.如權(quán)利要求1所述的方法，其特征在于，所述水平面信息，根據(jù)如下方式獲取：

獲取所述點(diǎn)云數(shù)據(jù)中的水平面點(diǎn)云數(shù)據(jù)；

根據(jù)最小二乘法擬合所述水平面點(diǎn)云數(shù)據(jù)的法線方向；

根據(jù)所述法線方向?qū)λ鳇c(diǎn)云數(shù)據(jù)進(jìn)行豎直校正，得到垂直于豎直方向的點(diǎn)云數(shù)據(jù)的水平面信息。

6.如權(quán)利要求5所述的方法，其特征在于，所述高度信息，根據(jù)如下方式獲取：

將所述點(diǎn)云數(shù)據(jù)投影到所述水平面上，得到密度圖；

根據(jù)所述密度圖得到所述結(jié)構(gòu)信息中的墻壁信息；

根據(jù)所述墻壁信息得到所述高度信息。

7.如權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述水平面信息和高度信息對(duì)所述房間建立三維房間結(jié)構(gòu)模型，包括：

將所述點(diǎn)云數(shù)據(jù)投影到所述水平面信息對(duì)應(yīng)的水平面上，得到二維投影戶型圖；

根據(jù)曼哈頓假設(shè)對(duì)所述二維投影戶型圖進(jìn)行約束，得到校正后的二維投影戶型圖；

根據(jù)所述二維投影戶型圖和高度信息對(duì)所述房間建立三維房間結(jié)構(gòu)模型。

8.一種基于二維圖像生成房間結(jié)構(gòu)模型的裝置，其特征在于，包括：

二維圖像獲取單元，用于獲取房間的單張二維圖像；

神經(jīng)網(wǎng)絡(luò)推斷單元，用于將所述二維圖像輸入預(yù)先訓(xùn)練的三維圖像神經(jīng)網(wǎng)絡(luò)，經(jīng)所述三維圖像神經(jīng)網(wǎng)絡(luò)輸出所述二維圖像對(duì)應(yīng)的深度信息及結(jié)構(gòu)分割信息、物品分割信息；所述三維圖像神經(jīng)網(wǎng)絡(luò)根據(jù)預(yù)先獲取的二維圖像和對(duì)應(yīng)的三維圖像的對(duì)應(yīng)關(guān)系訓(xùn)練；

結(jié)構(gòu)信息獲取單元，用于獲取所述深度信息對(duì)應(yīng)點(diǎn)云數(shù)據(jù)；根據(jù)所述結(jié)構(gòu)分割信息、物品分割信息，去除所述點(diǎn)云數(shù)據(jù)中的物品信息，保留結(jié)構(gòu)信息；

平面信息獲取單元，用于獲取所述結(jié)構(gòu)信息中的水平面信息和高度信息；

結(jié)構(gòu)模型生成單元，用于根據(jù)所述水平面信息和高度信息對(duì)所述房間建立所述二維圖像對(duì)應(yīng)的三維房間結(jié)構(gòu)模型。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序用于執(zhí)行上述權(quán)利要求1-7任一所述的方法。

10.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

處理器；

用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器；

所述處理器，用于從所述存儲(chǔ)器中讀取所述可執(zhí)行指令，并執(zhí)行所述指令以實(shí)現(xiàn)上述權(quán)利要求1-7任一所述的方法。