[發明專利]一種基于回歸網絡的三維室內結構圖估計方法

在審

• 申請號: 202211701793.0
• 申請日: 2022-12-28
• 公開（公告）號: CN116051735A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 顏成鋼;汪奇挺;朱尊杰;魏宇鑫;傅晟;高宇涵;孫垚棋;陳楚翹;王鴻奎;王廷宇;殷海兵;張繼勇;李宗鵬;趙治棟
• 申請（專利權）人: 杭電（麗水）研究院有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/13;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種基于回歸網絡的三維室內結構圖估計方法，首先基于Pointnet++的點云特征提取；然后通過最遠點采樣選取采樣點，通過采樣點篩選網絡進行篩選，根據篩選得到的最近鄰采樣點構建候選角點點簇；計算候選角點點簇中距離質心最近的點，通過角點回歸網絡得到候選角點，最后根據獲取的候選角點實現三維結構化模型的重建。本發明在對建筑場景進行重建時，通過對原始點云提取建筑角點進行端到端的估計，大大提高了估計的準確度。

技術領域

本專利屬于計算機圖形學中的三維模型重建領域，是一種充分利用神經學習及回歸網絡的三維室內結構估計方法，通過網絡學習得到室內角點信息，從而更準確地提取出線面結構性元素獲取建筑結構，可以應用于當前盛行的AR和VR領域。

背景技術

目前，對室內場景的數字化研究受到越來越多的關注，真實場景的數據化能夠讓我們可以從任意視角充分觀察場景的各個部分。室內場景的結構化重建成為了一個定義明確的新興課題，特別是針對常見和結構化的多房間室內環境開發，如住宅、辦公室或公共建筑，這些領域的常用解決方法包括基于全景圖和視頻的虛擬建筑重建方法或者通過獲得的視覺或激光數據映射到參考平面測量的方法。

基于設備獲得原始數據，一般的表面重建方法專注于生產準確密集的三維模型，以確保還原甚至最小的幾何形狀和外觀細節。從這個意義上說，他們的主要目標是提供組成輸入場景的所有表面的最精確的表示，而不考慮其結構和語義，或者可能只利用它們來最大化輸出表面模型的保真度。但是對于室內結構化重建，我們更希望解決方案集中于抽象出簡化的高級結構化模型，因此我們把基本任務放在發現結構元素，如房間、墻壁、門，并將它們組合為三維結構形狀和視覺表示。

室內結構化重建的輸出可以被用于室內裝修設計人員的房屋初始設計結構圖，結合室內平面圖的參數信息在三維模型中對房屋進行裝修設計工作。目前室內結構化重建領域在使用傳統數學方法時，往往會使用平面擬合等擬合方法檢測模型內的平面柱面等結構來還原出房間主干以得到室內布局，但是室內家居物體在平面檢測的過程中常常會對檢測結果有所影響。因此我們考慮不借助擬合的檢測方法，采用形態學方法提取壁面。隨后利用無監督學習來擬合壁面線段，以提高壁面識別的準確度，這也避免了在傳統方法中對房屋結構的曼哈頓假設以及對模型的預處理步驟，同時通過無監督學習可以較大程度地提升模型構建的效率與速度。

發明內容

針對現有技術中存在的不足，本發明提供一種基于回歸網絡的三維室內結構圖估計方法。

本發明的輸入為稠密室內三維點云模型，給定N個點的輸入三維點云，通過點云特征學習主干采樣提取更高維度的周圍點云特征，利用最遠點采樣生成角點候選。隨后通過transformer結構對候選點進行處理，進一步細化候選點特征。此時的角點候選與groundtruth之間仍然存在位置誤差，基于三維坐標信息(xyz)及兩點的距離信息，構建回歸網絡，訓練候選點接近真值點。獲取到角點后，基于角點構建線段及平面，恢復建筑高級結構化模型。

一種基于回歸網絡的三維室內結構圖估計方法，包括以下步驟：

步驟(1)、基于Pointnet++的點云特征提取；

步驟(2)、通過最遠點采樣選取采樣點，通過采樣點篩選網絡進行篩選，根據篩選得到的最近鄰采樣點構建候選角點點簇；

步驟(3)、計算候選角點點簇中距離質心最近的點，通過角點回歸網絡得到回歸后的點坐標，也即是候選角點；

步驟(4)、根據獲取的候選角點實現三維結構化模型的重建；

進一步的，步驟(1)具體方法如下：

使用PointNet++模塊作為點云特征學習的backbone(網絡主干)，進行點云特征提取。經過點云的局部特征提取，每個點的維度從3維的坐標維度增加到(3+C)維，增加的C維特征是通過對整個場景的周邊感知獲得的局部特征。

進一步的，步驟(2)具體方法如下；