[發(fā)明專利]一種基于平面約束的室內(nèi)場景模型補(bǔ)全方法

在審

• 申請?zhí)枺?/td>: 202110683663.8
• 申請日: 2021-06-21
• 公開（公告）號: CN113536417A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 路榮豐;顏成鋼;朱尊杰;徐楓;裘健鋆;孫垚棋;張繼勇;張勇東
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06F30/13
• 分類號: G06F30/13;G06T17/00
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明公開了一種基于平面約束的室內(nèi)場景模型補(bǔ)全方法。在稠密室內(nèi)三維重建的基礎(chǔ)上使用循環(huán)使用RANSAC方法進(jìn)行三維平面的檢測，通過平面檢測結(jié)果，將室內(nèi)環(huán)境分割為不同的平面區(qū)域和物體區(qū)域，然后利用物體區(qū)域中各mesh頂點(diǎn)的鄰接關(guān)系將空間上彼此分離的物體分割開，然后分別在不同的平面區(qū)域和不同的物體模型上進(jìn)行孔洞檢測，分別完成孔洞補(bǔ)全任務(wù)，然后將逐個(gè)補(bǔ)全的結(jié)果放在同一個(gè)三維空間中，最終完成室內(nèi)全場景的三維模型孔洞補(bǔ)全任務(wù)。本發(fā)明消除了不同物體上孔洞之間的干擾，極大的提高了物體模型的補(bǔ)全精度，提高了補(bǔ)全效果，在對場景中的平面模型進(jìn)行補(bǔ)全時(shí)，能夠在平面方程的約束下，實(shí)現(xiàn)更加魯棒的平面補(bǔ)全效果。

技術(shù)領(lǐng)域

本專利屬于計(jì)算機(jī)圖形學(xué)中的三維模型重建、三維模型補(bǔ)全領(lǐng)域，是一種充分利用人造室內(nèi)空間中平面約束條件的室內(nèi)三維場景模型補(bǔ)全方法，可以進(jìn)一步的完善實(shí)時(shí)稠密重建的重建效果，未來可應(yīng)用于AR和VR領(lǐng)域。

背景技術(shù)

在虛擬現(xiàn)實(shí)(VR)、增強(qiáng)現(xiàn)實(shí)(AR)或者混合現(xiàn)實(shí)(MR)領(lǐng)域中，往往需要將虛擬的數(shù)字化場景、物體或者其他數(shù)字化信息和真實(shí)環(huán)境進(jìn)行互動，三維重建技術(shù)將作為一種將真實(shí)場景或者物體轉(zhuǎn)換成虛擬場景或物體的接口，在真實(shí)環(huán)境與虛擬物體進(jìn)行交互過程中起著至關(guān)重要的作用。

現(xiàn)有的三維重建技術(shù)雖然能夠?qū)⑼瓿傻某砻苋S模型重建出來，但是這個(gè)重建過程往往需要拿著傳感器緩慢的對整個(gè)室內(nèi)環(huán)境中的所有物體以及整個(gè)場景進(jìn)行全方位無死角的掃描，最終才能生成完整的室內(nèi)稠密模型，這個(gè)過程往往十分耗費(fèi)時(shí)間，且稍有不慎就會使得模型中出現(xiàn)一些孔洞。在用戶實(shí)際使用VR等設(shè)備進(jìn)行現(xiàn)實(shí)三維環(huán)境稠密重建時(shí)，生成的三維模型中不可避免的存在孔洞，此時(shí)在孔洞的干擾下，真實(shí)場景和虛擬物體進(jìn)行交互的過程中就會出現(xiàn)錯誤的互動，影響用戶的體驗(yàn)。本專利針對重建后的三維模型中存在孔洞的問題，提出了一種在重建的三維模型上進(jìn)行全場景的孔洞補(bǔ)全技術(shù)。

現(xiàn)有的三維模型孔洞補(bǔ)全方法分為兩種。一種是基于三維點(diǎn)云數(shù)據(jù)的模型補(bǔ)全，如PCN算法能夠?qū)⒂腥笔У狞c(diǎn)云補(bǔ)全，但點(diǎn)云模型對三維模型的細(xì)節(jié)和紋理部分描述能力較差，往往無法在VR等領(lǐng)域中應(yīng)用。第二種是基于稠密三維mesh模型的孔洞補(bǔ)全，但是現(xiàn)有的基于稠密mesh模型的補(bǔ)全算法只針對單個(gè)物體模型有效，在進(jìn)行多物體乃至場景模型孔洞補(bǔ)全時(shí)，不同物體上的孔洞會產(chǎn)生互相干擾，使得最終的補(bǔ)全效果十分不理想，所以該方法無法解決整個(gè)室內(nèi)全場景環(huán)境模型的孔洞補(bǔ)全任務(wù)。

在人造的室內(nèi)空間中，往往平面是最主要的組成圖元，同時(shí)各種不同的物品也都分別放置在室內(nèi)的平面結(jié)構(gòu)之上，所以對于絕大部分不相關(guān)的物體我們不需經(jīng)過深度學(xué)習(xí)的訓(xùn)練就可以在平面的約束下從空間中彼此分割。

本專利發(fā)明了一種在平面結(jié)構(gòu)信息約束下的室內(nèi)全場景環(huán)境模型補(bǔ)全的方法。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于平面約束的室內(nèi)場景模型補(bǔ)全方法。

本發(fā)明方法在稠密室內(nèi)三維重建的基礎(chǔ)上使用循環(huán)使用RANSAC方法進(jìn)行三維平面的檢測，通過平面檢測結(jié)果，將室內(nèi)環(huán)境分割為不同的平面區(qū)域和物體區(qū)域，然后利用物體區(qū)域中各mesh頂點(diǎn)的鄰接關(guān)系將空間上彼此分離的物體分割開，然后分別在不同的平面區(qū)域和不同的物體模型上進(jìn)行孔洞檢測，分別完成孔洞補(bǔ)全任務(wù)，然后將逐個(gè)補(bǔ)全的結(jié)果放在同一個(gè)三維空間中，最終完成室內(nèi)全場景的三維模型孔洞補(bǔ)全任務(wù)。

一種基于平面約束的室內(nèi)場景模型補(bǔ)全方法，包括以下步驟：

步驟(1)、基于RANSAC的三維模型平面檢測；

在通過稠密三維重建算法得到的室內(nèi)三維模型中，循環(huán)使用RANSAC平面檢測算法，檢測三維模型中的平面，將三維空間中的不同平面分割出來，同時(shí)將整個(gè)模型分割為平面部分和非平面的物體部分，完成預(yù)分割。

步驟(2)、非鄰接物體的分割；