[發(fā)明專利]一種曼哈頓結(jié)構(gòu)建筑物的輕量重建方法及裝置

在審

• 申請?zhí)枺?/td>: 202210262202.8
• 申請日: 2022-03-17
• 公開（公告）號: CN114863042A
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 程章林;何振邦
• 申請（專利權(quán)）人: 中國科學(xué)院深圳先進(jìn)技術(shù)研究院
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06V10/762;G06K9/62
• 代理公司: 深圳市科進(jìn)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44316
• 代理人: 劉建偉

1.一種曼哈頓結(jié)構(gòu)建筑物的輕量重建方法，其特征在于，包括以下步驟：

對圖像序列應(yīng)用從運(yùn)動(dòng)中恢復(fù)重建，得到相機(jī)位姿和稀疏點(diǎn)云，并執(zhí)行基于線段的重建得到線云；

對線云進(jìn)行聚類，并在線云上采樣得到采樣點(diǎn)，加入到稀疏點(diǎn)云中；

從線云中檢測平面，并通過尋找正交平面切割得到角點(diǎn)；

從角點(diǎn)出發(fā)，通過改變角點(diǎn)的參數(shù)來擬合點(diǎn)云，得到最終的立方體模型；

對于未收斂到正確大小的立方體進(jìn)行基于圖像的配準(zhǔn)。

2.根據(jù)權(quán)利要求1所述的曼哈頓結(jié)構(gòu)建筑物的輕量重建方法，其特征在于，所述對圖像序列應(yīng)用從運(yùn)動(dòng)中恢復(fù)重建，得到相機(jī)位姿和稀疏點(diǎn)云，并執(zhí)行基于線段的重建得到線云包括：

將圖像輸入到三維重建系統(tǒng)COLMAP中來恢復(fù)相機(jī)姿態(tài)并生成稀疏點(diǎn)云，然后將相機(jī)姿勢和圖像輸入Line3D++系統(tǒng)，生成線云L₀。

3.根據(jù)權(quán)利要求2所述的曼哈頓結(jié)構(gòu)建筑物的輕量重建方法，其特征在于，所述對線云進(jìn)行聚類包括：

連接方向接近且最近端點(diǎn)小于閾值的兩線段來獲得一個(gè)更長的線段，新線段的方向?yàn)閮稍季€段方向的均值，新線段長度為兩線段在新線段方向的投影范圍；

合并方向接近且兩線段之間的距離小于閾值，且投影長度重合度高的兩條線段來作為一條新的線段，新線段的方向?yàn)閮稍季€段方向的均值，新線段長度為兩線段在新線段方向的投影范圍。

4.根據(jù)權(quán)利要求3所述的曼哈頓結(jié)構(gòu)建筑物的輕量重建方法，其特征在于，所述在線云上采樣得到采樣點(diǎn)包括：

從聚類后的線云L中采樣點(diǎn)以生成更多點(diǎn)，對于L中的每一條線段，從任意端點(diǎn)出發(fā)，沿著線段方向按照預(yù)設(shè)間隔進(jìn)行點(diǎn)采樣，并將它們與稀疏點(diǎn)云P₀合并；使用符號P來表示新的點(diǎn)云。

5.根據(jù)權(quán)利要求4所述的曼哈頓結(jié)構(gòu)建筑物的輕量重建方法，其特征在于，所述從線云中檢測平面包括：

將檢測到的平面集S設(shè)置為空，同時(shí)每條線都被標(biāo)記有一個(gè)狀態(tài):自由線、紋理線或結(jié)構(gòu)線；不支持任何平面的線是自由線；僅支持一個(gè)平面的線是紋理線，紋理線位于平面內(nèi)；支持兩個(gè)平面的線是結(jié)構(gòu)線，其位于兩個(gè)平面的相交邊緣；其中規(guī)定一條線最多支持兩個(gè)平面；在處理之初所有線初始化為自由線；

對于線云L中的每一條非結(jié)構(gòu)線l_i迭代搜索另一條與l_i平行或垂直同時(shí)共面的非結(jié)構(gòu)線l_j，然后l_i和l_j形成種子平面P_i,j；如果種子平面P_i,j平行并靠近S中的已有平面，則該種子平面被視為重復(fù)平面并被丟棄；

接著計(jì)算該種子平面的兩個(gè)主方向，d₁(P_i,j)＝normalize(l_i)和d₂(P_i,j)＝normalize(l_i×N)，其中N是平面法線；然后計(jì)算這兩條種子線的包圍盒，該包圍盒的兩軸與兩個(gè)主方向?qū)R；同時(shí)計(jì)算種子平面的置信度min(|l|/edge(l)),l∈{l_i,l_j}，其中edge(l)表示邊界框邊在平行于l的方向上的長度；

對線段l_i找到所有合格的種子平面，并選擇置信度最高的一個(gè)作為最終候選平面；遍歷L中的自由線和紋理線，將與候選平面共面的線段加入到候選平面中進(jìn)行擴(kuò)張；對擴(kuò)張后的平面進(jìn)行DBSCAN聚類得到若干子平面；聚類后的分?jǐn)?shù)低于閾值的子平面將被刪除，子平面的分?jǐn)?shù)定義為子平面上的所有線段長度之和；剩余子平面將被添加到現(xiàn)有的平面集S，同時(shí)更新支持這些子平面的線段的狀態(tài)；當(dāng)所有平面已被檢測后，通過計(jì)算所有支持線段在兩個(gè)主方向的投影來設(shè)置S中每個(gè)平面的邊界；在每個(gè)平面周圍添加邊距來擴(kuò)展每個(gè)平面的邊界。