[發明專利]基于模型分割的混合場景重建方法及裝置

有效

• 申請號: 201711079227.X
• 申請日: 2017-11-06
• 公開（公告）號: CN107909643B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 徐楓;張浩
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/70
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種基于模型分割的混合場景重建方法及裝置，其中，方法包括：獲得相機的當前位姿；獲得靜態場景模型和動態物體模型；通過動態重建方法對動態物體的局部運動進行跟蹤并更新動態物體模型，并且通過投影法將重建后的動態物體模型投影至深度圖中以對當前深度數據進行分割，獲得屬于靜態場景的深度數據，并通過靜態重建方法對屬于靜態場景的深度數據進行處理，以更新靜態場景模型。該方法可以通過跟蹤相機姿態，計算深度圖與重建模型的對準誤差，根據對準誤差分離動態物體模型和靜態場景模型并進一步分別處理，從而實現動態物體和靜態場景的共同重建，有效提高三維場景重建技術的魯棒性、實用性和可靠性。

技術領域

本發明涉及計算機視覺與計算機圖形學技術領域，特別涉及一種基于模型分割的混合場景重建方法及裝置。

背景技術

目前，三維場景重建是機器視覺與計算機圖形學領域中一個重要且基礎的問題，三維場景重建在動畫/電影制作，虛擬/增強現實，醫學/軍事等領域也有非常廣泛的應用。例如，在機器視覺中，機器人可以在運動中重建環境的三維幾何結構，實現機器人的實時定位以及對環境的感知與交互；在虛擬現實中，使用場景重建技術構建的三維模型能提供逼真的三維場景模型，增強人的沉浸感；在增強現實中，場景重建技術能實時重建場景，精確感知場景信息，并將虛擬信息準確投射到目標位置與真實場景疊加，增強人與環境的交互性。正是由于場景重建技術具有如此廣泛的應用前景，因此三維場景重建技術具有極高的科研和應用價值。

然而，現有的三維場景重建技術仍然存在缺陷，對場景進行重建時要求場景必須是絕對的靜態場景，當前的三維場景重建技術無法重建靜態場景中動態的物體，一旦真實三維場景中通常存在的動態物體，比如人、飄動的窗簾等，就會影響靜態場景重建的結果，從而嚴重限制了三維場景重建技術的使用范圍，可靠性差，有待解決。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于模型分割的混合場景重建方法，該方法可以實現動態物體和靜態場景的共同重建，有效提高三維場景重建技術的魯棒性、實用性和可靠性。

本發明的另一個目的在于提出一種基于模型分割的混合場景重建裝置。

為達到上述目的，本發明一方面實施例提出了一種基于模型分割的混合場景重建方法，包括以下步驟：通過改進的ICP算法(Iterative Closest Point，ICP算法)將深度數據與當前重建模型進行對準，獲得相機的當前位姿；根據所述相機的當前位姿得到當前深度數據與所述當前重建模型之間的對準誤差，并且根據所述對準誤差確定已重建模型中靜態部分和動態部分，并利用模型的連續性進行模型分割，獲得靜態場景模型和動態物體模型；通過動態重建方法對動態物體的局部運動進行跟蹤并更新所述動態物體模型，并且通過投影法將重建后的動態物體模型投影至深度圖中以對當前深度數據進行分割，獲得屬于靜態場景的深度數據，并通過靜態重建方法對所述屬于靜態場景的深度數據進行處理，以更新所述靜態場景模型。

本發明實施例的基于模型分割的混合場景重建方法，可以通過改進的ICP算法將當前深度數據與模型進行對準以獲得相機姿態，計算模型各連通部分與深度數據的對準誤差，并根據對準誤差將混合場景模型進行分割，獲得潛在的動態物體模型和靜態場景模型，再將動態物體模型和靜態場景模型以及深度數據分別送入動態重建流程和靜態重建流程中進行處理，實現對混合場景的三維模型重建，從而實現動態物體和靜態場景的共同重建，有效提高三維場景重建技術的魯棒性、實用性和可靠性。

另外，根據本發明上述實施例的基于模型分割的混合場景重建方法還可以具有以下附加的技術特征：

進一步地，在本發明的一個實施例中，所述獲得相機的當前位姿，進一步包括：通過sigmoid-ICP方法將當前深度圖與所述當前重建模型進行對準，并排除動態物體深度數據的影響，以獲得所述相機的當前姿態。