[發明專利]基于模型分割的混合場景重建方法及裝置

有效

• 申請號: 201711079227.X
• 申請日: 2017-11-06
• 公開（公告）號: CN107909643B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 徐楓;張浩
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/70
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種基于模型分割的混合場景重建方法，其特征在于，包括以下步驟：

通過改進的ICP算法將深度數據與當前重建模型進行對準，獲得相機的當前位姿；

根據所述相機的當前位姿得到當前深度數據與所述當前重建模型之間的對準誤差，并且根據所述對準誤差確定已重建模型中靜態部分和動態部分，并利用模型的連續性進行模型分割，獲得靜態場景模型和動態物體模型，其中，所述根據所述相機的當前位姿得到當前深度數據與重建模型之間的誤差，并且根據所述誤差確定已重建模型中靜態部分和動態部分，并利用模型的連續性進行模型分割，進一步包括：對當前考慮進行分割的所述當前重建模型的表面進行采樣，獲得附著于模型表面按預設距離L1均勻分布的多個結點；其中，結點的影響覆蓋以其為中心預設半徑范圍內的模型表面；獲取每個結點預設范圍L2內的多個結點及其邊長，構建結點連接圖，并根據所述結點連接圖中結點的連接關系和邊長對結點進行聚類，以將結點集分為多個結點子集；其中，每個結點子集中的結點相互臨近，不同結點子集中的結點相互遠離；獲取所述每個結點所覆蓋范圍內模型表面與所述當前深度數據之間的平均對準誤差，其中，如果平均對準誤差大于預設值，則判定具有較大的局部運動，并視為具有動態傾向；統計每類的結點子集中結點的數量和具有所述動態傾向的結點數量；其中，如果任一結點子集中結點數和具有動態傾向的結點數量滿足預設條件，則判定為屬于動態結點集，否則判定為屬于靜態結點集；通過所述動態結點集所覆蓋的模型表面構成所述動態物體模型，并且通過所述靜態結點集所覆蓋的模型表面構成所述靜態場景模型；以及

通過動態重建方法對動態物體的局部運動進行跟蹤并更新所述動態物體模型，并且通過投影法將重建后的動態物體模型投影至深度圖中以對當前深度數據進行分割，獲得屬于靜態場景的深度數據，并通過靜態重建方法對所述屬于靜態場景的深度數據進行處理，以更新所述靜態場景模型。

2.根據權利要求1所述的基于模型分割的混合場景重建方法，其特征在于，所述獲得相機的當前位姿，進一步包括：

通過sigmoid-ICP方法將當前深度圖與所述當前重建模型進行對準，并排除動態物體深度數據的影響，以獲得所述相機的當前姿態。

3.根據權利要求1-2任一項所述的基于模型分割的混合場景重建方法，其特征在于，所述更新所述動態物體模型和所述更新所述靜態場景模型，進一步包括：

對于所述動態物體，利用所述深度數據跟蹤局部非剛性運動，并根據所述局部非剛性運動和相機運動對所述動態物體模型進行更新；

對于所述靜態場景，將更新的所述動態物體模型對當前相機進行二維投影，并且根據投影結果將所述當前深度數據進行分割，提取出所述屬于靜態場景的深度數據，以進行靜態場景更新。

4.根據權利要求1所述的基于模型分割的混合場景重建方法，其特征在于，通過point-to-plane能量函數的殘差獲取所述對準誤差。