[發(fā)明專利]基于單幅RGB圖像的室內(nèi)場景三維重建方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010147114.4
• 申請日: 2020-03-05
• 公開（公告）號: CN111414923B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設(shè)計）人: 孫克強;繆君;江瑞祥;姚輝;黃仕中
• 申請（專利權(quán)）人: 南昌航空大學(xué)
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/774;G06V10/80;G06V10/82;G06K9/62;G06T17/00;G06N3/04
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 楊媛媛

1.一種基于單幅RGB圖像的室內(nèi)場景三維重建方法，其特征在于，包括：

獲取室內(nèi)場景ScanNet數(shù)據(jù)集，并對所述ScanNet數(shù)據(jù)集進行劃分，確定訓(xùn)練集以及測試集；所述ScanNet數(shù)據(jù)集包括多張單幅RGB圖像；

利用隨機樣本一致性RANSAC算法，從所述訓(xùn)練集中重復(fù)提取平面，確定室內(nèi)場景待重建平面；

構(gòu)建局部特征提取分支：所述的局部特征提取模塊的具體做法是：在局部特征提取網(wǎng)絡(luò)中，將局部目標(biāo)的灰度圖像作為輸入，首先用一個全卷積神經(jīng)網(wǎng)絡(luò)生成其多尺度特征圖，然后研究一種不變特征的篩選法則獲取尺度不變特征，再對特征結(jié)合局部圖像進行描述，最后探求局部特征與全局特征的融合方法；

利用局部特征提取分支提取所述室內(nèi)場景待重建平面的局部特征；所述局部特征提取分支用于提取局部特征；所述局部特征包括邊緣輪廓、角點以及線；

根據(jù)所述局部特征以及擴張殘差DRN網(wǎng)絡(luò)確定全局特征；所述全局特征包括顏色特征、紋理特征以及形狀特征；

根據(jù)局部特征與擴張殘差網(wǎng)絡(luò)對將訓(xùn)練集進行處理得到的全局特征，并將局部特征與全局特征進行融合，得到關(guān)于輸入圖像的更加豐富的信息；

融合公式為：

Xi、Yi分別表示全局特征和局部特征，*表示卷積，K_i、K_i+c表示卷積核，c表示特征通道數(shù)；

根據(jù)所述局部特征以及所述全局特征構(gòu)建基于單幅RGB圖像的室內(nèi)場景三維重建網(wǎng)絡(luò)模型；所述室內(nèi)場景三維重建網(wǎng)絡(luò)模型包括平面參數(shù)預(yù)測分支、邊緣像素預(yù)測分支以及非平面深度圖預(yù)測分支；所述平面參數(shù)預(yù)測分支用于確定所述室內(nèi)場景待重建平面的平面參數(shù)，所述平面參數(shù)包括法線以及偏移量；所述邊緣像素預(yù)測分支用于確定分割掩膜；所述非平面深度圖預(yù)測分支用于確定深度圖；

在得到較為準(zhǔn)確的平面分割掩模的基礎(chǔ)上，擬加入真實邊緣像素進行訓(xùn)練，只對實例中固定大小區(qū)域加入邊緣檢測，利用邊緣像素損失函數(shù)的約束，計算預(yù)測邊緣像素值和真實像素值間的差值，并對邊緣像素進行相關(guān)的平滑操作，得到更加精細的平面分割掩模；

在分割掩模分成過程中加入邊緣像素預(yù)測損失函數(shù)；

具體的，所述邊緣像素預(yù)測分支損失函數(shù)具體如下：

L^P(y，y^*)＝M_P(|y^*-y|)^p

其中，L^p表示損失函數(shù)集，y^*表示真實值的邊緣，y表示預(yù)測的邊緣，p表示廣義冪的p次冪，M_p表示絕對差值；

根據(jù)所述室內(nèi)場景三維重建網(wǎng)絡(luò)模型重建所述單幅RGB圖像的室內(nèi)場景。

2.根據(jù)權(quán)利要求1所述的基于單幅RGB圖像的室內(nèi)場景三維重建方法，其特征在于，所述根據(jù)所述局部特征以及所述全局特征構(gòu)建基于單幅RGB圖像的室內(nèi)場景三維重建網(wǎng)絡(luò)模型，具體包括：

在平面參數(shù)預(yù)測分支中，利用全局平均池化，將所述融合后的特征圖變換成尺寸為1x1的特征圖；

將所述尺寸為1x1的特征圖通過所述DRN網(wǎng)絡(luò)的全連接層，生成尺寸為Kx3的特征圖的平面參數(shù)；K為預(yù)測的平面數(shù)量。

3.根據(jù)權(quán)利要求2所述的基于單幅RGB圖像的室內(nèi)場景三維重建方法，其特征在于，所述根據(jù)所述局部特征以及所述全局特征構(gòu)建基于單幅RGB圖像的室內(nèi)場景三維重建網(wǎng)絡(luò)模型，具體包括：

在邊緣像素預(yù)測分支中，通過金字塔池化模塊對所述融合后的特征圖進行下采樣，確定低于尺寸閾值的融合特征圖；

將所述低于尺寸閾值的融合特征圖輸入到所述DRN網(wǎng)絡(luò)的卷積層中，利用所述DRN網(wǎng)絡(luò)的卷積層生成表示平面和非平面的K+1通道的極大似然圖；

利用條件隨機場對所述極大似然圖進行處理，生成分割掩模。

4.根據(jù)權(quán)利要求3所述的基于單幅RGB圖像的室內(nèi)場景三維重建方法，其特征在于，所述根據(jù)所述局部特征以及所述全局特征構(gòu)建基于單幅RGB圖像的室內(nèi)場景三維重建網(wǎng)絡(luò)模型，具體包括：

在非平面深度圖預(yù)測分支中，所述非平面深度圖預(yù)測分支和所述邊緣像素預(yù)測分支共同使用同一個金字塔池化模塊，并將所述低于尺寸閾值的融合特征圖輸入到所述DRN網(wǎng)絡(luò)的卷積層生成1通道的深度圖。