[發明專利]一種基于曼哈頓假設的場景重建方法

有效

• 申請號: 201710563682.0
• 申請日: 2017-07-12
• 公開（公告）號: CN107292956B
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 顏成鋼;朱尊杰;徐峰;寧瑞忻
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/38;G06T7/80
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 黃前澤

本發明公開一種基于曼哈頓假設的場景重建方法。該方法基于曼哈頓假設的方案給出了精確的運動估計；首先估計記錄幀的所有3D點的法線方向；然后通過PCA估計出三個主要正交平面的法向量方向。由于是通過所有深度點來估計平面的法向量，隨機噪聲被極大的濾除，使得估計的法向量十分準確；通過每個像素點在三維坐標中的位置進一步確定主平面坐標；最后，通過由平面坐標和法向量獲取的變換矩陣來估計相機的姿態，并利用每一幀圖像的相機姿態拼接出場景三維模型。由于本發明的平面信息是由大量點計算得到，因此比只有單個點的特征點方法更具有魯棒性。

技術領域

本發明屬于計算機視覺領域，尤其針對場景三維重建，具體涉及一種基于曼哈頓假設的場景重建方法。

背景技術

近年來，隨著深度感知技術的發展，實現3D室內場景的實時3D場景掃描成為可能。業界提出了幾個系統，并產生了有希望的結果。另一方面，隨著增強現實(AR)成為學術和行業的熱門話題，迫切需要實時3D掃描，因為我們真實場景的3D幾何的復原是使虛擬對象無縫對齊的關鍵。在微軟的頭戴顯示器Hololens中，許多基于AR的應用程序需要掃描當前房間的3D幾何。

使用深度相機，直接記錄3D信息，實現3D掃描的關鍵是估計每兩個連續輸入幀之間的相機運動。首先是使用迭代最近點(ICP)來估計由兩個深度幀獲得的點云之間的對應關系。然后，兩點云可以通過估計的相機運動合并。

然而，在基于ICP的方法中，需要豐富的紋理特征，通過場景中的幾何特征，魯棒地估計正確的相機運動。對于3D空間中的兩個純2D平面，最接近的點可能不是正確的對應關系。在這種情況下，ICP可能會產生錯誤的相機運動。此外，ICP需要大量采樣點，需要迭代才能收斂到最終的對應關系，這意味著相對較重的計算成本。即使一些基于ICP的系統使用GPU實現實時性能，但是仍然不適用于許多實際應用，因為GPU可能被其他任務占用，從而導致基于ICP的系統無法及時計算。

發明內容

本發明的目的是針對現有技術的不足，提供一種基于曼哈頓假設的場景重建方法。

在對室內場景進行三維重建時，由于大部分的場景結構符合曼哈頓假設，即場景是由多個互相正交的平面組成，如天花板，墻面，地板。當深度相機采集的圖像序列包含足夠的正交平面時，可能存在大的平面區域，因為平面通常具有一致的顏色(如墻面，天花板等)，所以只能提取很少的特征。在這種情況下，基于曼哈頓假設的方案給出了精確的運動估計。首先估計記錄幀的所有3D點的法線方向；然后通過主成分分析(PCA)估計出三個主要正交平面(如墻壁，天花板，地板等場景中大的平面區域)的法向量方向。由于是通過所有深度點來估計平面的法向量，隨機噪聲被極大的濾除，使得估計的法向量十分準確；通過每個像素點在三維坐標中的位置進一步確定主平面坐標；最后，我們通過由平面坐標和法向量獲取的變換矩陣來估計相機的姿態，并利用每一幀圖像的相機姿態拼接出場景三維模型。

本發明方法包括以下步驟：

步驟(1)、通過深度相機拍攝采集獲得室內場景的圖像序列，計算圖像中每個像素點法向量，具體是：

首先，將圖像序列中記錄幀的所有像素點通過深度相機的相機模型轉換為3D坐標；然后通過某像素點的相鄰4個像素點的3D坐標計算獲得該點法向量。

D₁(u,v)＝D(u+k,v)-D(u-k,v) (1)

D₂(u,v)＝D(u,v+k)-D(u,v-k) (2)

其中，k是表示兩個像素點之間距離，為可調整參數；D₁、D₂為經過像素點D(u,v)的向量；

將D₁、D₂帶入公式(3)中，獲得D(u,v)的法向量n(u,v)；