[發明專利]一種基于平面約束的室內場景模型補全方法

在審

• 申請號: 202110683663.8
• 申請日: 2021-06-21
• 公開（公告）號: CN113536417A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 路榮豐;顏成鋼;朱尊杰;徐楓;裘健鋆;孫垚棋;張繼勇;張勇東
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F30/13
• 分類號: G06F30/13;G06T17/00
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于平面約束的室內場景模型補全方法，其特征在于，包括以下步驟：

步驟(1)、基于RANSAC的三維模型平面檢測；

在通過稠密三維重建算法得到的室內三維模型中，循環使用RANSAC平面檢測算法，檢測三維模型中的平面，將三維空間中的不同平面分割出來，同時將整個模型分割為平面部分和非平面的物體部分，完成預分割；

步驟(2)、非鄰接物體的分割；

利用各個物體上mesh頂點的鄰接關系，遍歷所有mesh，分別將空間中不鄰接的各個物體進行分割，從而針對不同的物體分別檢測空洞和補全空洞，以免不同物體的孔洞補全的過程中形成干擾；

步驟(3)、孔洞檢測；

分別檢測每個不同平面和不同物體上的孔洞；

步驟(4)、孔洞補全；

在室內三維模型中每個物體上孔洞的周圍都建立一個三維邊界框B_H，該三維邊界框B_H為每個孔洞在每個坐標方向像外擴展20％來建立的，然后在每個擴展的三維邊界框B_H內求解雙調和方程，最終求該邊界框內的零等值面，在孔洞邊界處沿零等值面不斷生成mesh，完成每個物體的孔洞補全；在對該場景模型中的每個平面模型進行補全時，在平面方程的約束下，將求解的雙調和方程與平面檢測得到的平面方程進行加權融合，進而得到一個更加魯棒的平面補全結果；最終完成室內場景模型孔洞的補全。

2.根據權利要求1所述的一種基于平面約束的室內場景模型補全方法，其特征在于，步驟(1)具體方法如下；

在通過稠密三維重建算法得到的室內三維模型中，循環使用RANSAC平面檢測算法，檢測三維模型中的平面并將其從三維空間中分割出來，當循環到平面面積為設定的最小閾值時，終止循環RANSAC平面檢測算法，即提取出該三維場景中全部平面，其余部分為三維空間中的物體部分，將整個模型分割為平面部分和非平面的物體部分，完成預分割，為接下來孔洞補全任務提供平面約束。

3.根據權利要求2所述的一種基于平面約束的室內場景模型補全方法，其特征在于，步驟(2)具體方法如下；

首先在物體部分mesh模型中撒入種子點，然后利用各個物體上mesh頂點的鄰接關系，遍歷所有mesh，分別將空間中不鄰接的各個物體分割開來，確保空間上接觸的物體之間彼此分離開的，從而針對不同的物體分別檢測空洞和補全空洞，以免不同物體的孔洞補全的過程中形成干擾。

4.根據權利要求3所述的一種基于平面約束的室內場景模型補全方法，其特征在于，步驟(3)具體方法如下；

分別檢測每個不同平面和不同物體上的孔洞；首先檢測所有邊界邊，邊界邊為只屬于一個mesh的邊，而不屬于其他mesh的邊，將邊界邊構成的閉合回環當作需要補全的模型孔洞。

5.根據權利要求4所述的一種基于平面約束的室內場景模型補全方法，其特征在于，步驟(4)具體方法如下；

在完成孔洞檢測后，將在每個孔洞的周圍都建立一個三維邊界框B_H，該三維邊界框B_H用過每個孔洞在每個坐標方向像外擴展20％建立，然后在每個擴展的三維邊界框B_H內使用基于體素的修補方案；

首先在該三維邊界框內B_H定義一個分辨率一致的網格G_H，該分辨率要確保每個三角面片的邊界邊都不會大于三維邊界框B_H邊的大小，其分辨率的設置會根據第二節中超體素的分辨率變化而進行變化；在每一個網格G_H中要計算兩個距離，一個是到B_H中mesh的無符號距離，一個是計算到孔洞邊界邊的無符號距離；通過這兩個距離的計算，我們將邊界框B_H內的網格G_H分為了兩種不區域R_d和R_b，其中R_d區域是靠近mesh附近可以魯棒的計算出無符號距離值的區域，而R_b區域是相對來說更靠近孔洞附近的區域，在該區域中我們希望通過R_d區域中數值的幫助下，能夠進一步在R_b區域中平滑的擴展R_d中的數值；在R_d區域中，我們通過計算到mesh的距離來構建一個無符號距離場(SDF)，然后在R_b區域中，我們通過求解約束優化問題來計算得到一個離散的雙調和場，進而在R_b區域中得到零等值面，該算法還可以通過多重網格求解器來對求解過程進行加速，在求解的過程中，我們將無符號距離場R_d來作為求解雙調和場的邊界約束條件，從而更魯棒的再R_b中計算出零等值面，然后再將該零等值面和步驟(1)中求出的平面方程進行加權融合，進而得到一個在平面約束下的更加魯棒的零等值面；最后將B_H中的零等值面和孔洞的邊界邊附近的mesh進行縫合，完成每個孔洞的修補任務；當每個物體或平面上的孔洞都補全成功后，就完成了該室內場景的補全。