[發明專利]基于二維圖像生成房間結構模型的方法及裝置

在審

• 申請號: 202011040132.9
• 申請日: 2020-09-28
• 公開（公告）號: CN112116714A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 劉程林
• 申請（專利權）人: 貝殼技術有限公司
• 主分類號: G06T17/10
• 分類號: G06T17/10;G06T19/20;G06T7/10;G06T3/00
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

本發明實施例公開了一種基于二維圖像生成房間結構模型的方法及裝置，其中，獲取房間的單張二維圖像；將所述二維圖像輸入預先訓練的三維圖像神經網絡，經所述三維圖像神經網絡輸出所述二維圖像對應的深度信息及結構分割信息、物品分割信息；獲取所述深度信息對應點云數據；根據所述結構分割信息、物品分割信息，去除所述點云數據中的物品信息，保留結構信息；獲取所述結構信息中的水平面信息和高度信息；根據所述水平面信息和高度信息對所述房間建立所述二維圖像對應的三維房間結構模型。本發明方案將房間二維圖像自動轉換為三維模型，通過簡單的普通相機采集房間圖像，就能夠推斷出該房間的一個三維模型，能夠滿足快速簡潔的全屋重建的需求。

技術領域

本發明涉及計算機三維空間建模技術領域，尤其是一種基于二維圖像生成房間結構模型的方法及裝置。

背景技術

在室內三維模型的數據采集階段，一般需要利用特殊設備，收集不同的拍攝點數據(包括深度數據和RGB圖像數據)。在完成對數據收集以后，通過標定好的相機參數、RGB圖片以及深度圖片得到RGBD圖。其中，RGB是工業界的一種顏色標準，是通過對紅(R)、綠(G)、藍(B)三個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的，RGB即是代表紅、綠、藍三個通道的顏色，這個標準幾乎包括了人類視力所能感知的所有顏色，是目前運用最廣的顏色系統之一。深度圖(Depth Map)是包含與視點的場景對象的表面的距離有關的信息的圖像或圖像通道。其中，Depth Map類似于灰度圖像，只是它的每個像素值是傳感器距離物體的實際距離。通常RGB圖像和Depth圖像是配準的，因而像素點之間具有一對一的對應關系。

現有技術中，能夠結合相機位姿將RGBD圖轉化為單個相機點位的點云。這需要找出不同拍攝點的在全局坐標系下的坐標，才能把這些點云數據拼接成一個完整房間的點云模型。

現有技術中通過對單個房間的深度圖像作為輸入能夠識別房間的結構特征，并對房間結構和房間內物品進行重構，從而虛擬出該房間的模型。但是，這種方案需要一個特殊設備采集深度圖像，可以是深度相機、全景相機等，由于這些特殊設備的非普及性，限制了這些方案的應用。而現有技術中存在大量的房間圖像僅為普通相機獲取，沒有深度信息，無法直接利用這些二維的房間圖像進行房間的三維重構。

發明內容

本發明實施例所要解決的一個技術問題是：提供基于二維圖像生成房間結構模型的方法及裝置，解決現有技術中無法基于二維圖像生成房間結構模型模型的問題。

根據本發明的一個方面，提供了一種基于二維圖像生成房間結構模型的方法，包括：

獲取房間的單張二維圖像；

將所述二維圖像輸入預先訓練的三維圖像神經網絡，經所述三維圖像神經網絡輸出所述二維圖像對應的深度信息及結構分割信息、物品分割信息；所述三維圖像神經網絡根據預先獲取的二維圖像和對應的三維圖像的對應關系訓練；

獲取所述深度信息對應點云數據；根據所述結構分割信息、物品分割信息，去除所述點云數據中的物品信息，保留結構信息；

獲取所述結構信息中的水平面信息和高度信息；

根據所述水平面信息和高度信息對所述房間建立所述二維圖像對應的三維房間結構模型。

可選地，所述三維圖像神經網絡，根據如下方式訓練：

獲取二維圖像及對應的三維圖像；

根據密集卷積神經網絡模型，將所述二維圖像中對應的像素與三維圖像中的深度信息及結構分割信息對應，得到對應信息；

對所述對應信息進行處理，得到二維圖像與三維圖像的對應關系；

根據所述對應關系對所述三維圖像神經網絡進行訓練。

可選地，所述三維圖像神經網絡的訓練，還包括：