[發明專利]基于多深度攝像機的動態場景實時三維重建方法及裝置

有效

• 申請號: 201711443834.X
• 申請日: 2017-12-27
• 公開（公告）號: CN108171791B
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 劉燁斌;董淵;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/194;G06T5/00;G06T7/593
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種基于多深度攝像機的動態場景實時三維重建方法及裝置，其中，方法包括：對彩色圖像進行背景分割，提取并匹配圖像SIFT特征點，并且對深度圖像做雙邊濾波預處理；通過多視角非剛性對齊逐幀拼接深度圖像，以得到矯正后的深度圖像；通過非剛性變形將參考幀中的靜態模型與矯正后的深度圖像觀測對齊；在當前幀融合幾何模型，以重建拓撲變化以及處理跟蹤丟失的情況。該方法可以有效保證實時性，且提高魯棒性，提高運行速度，簡單易實現。

技術領域

本發明涉及計算機視覺技術領域，特別涉及一種基于多深度攝像機的動態場景實時三維重建方法及裝置。

背景技術

最近幾年，由于虛擬和增強現實設備的普及，市場對三維建模以及自由視點渲染的需求日趨增大。無論是沉浸式體驗，還是遠程教學與指導，都需要系統能夠真實的重建動態場景。這些應用對動態重建算法提出了兩個需求：首先，重建算法應該足夠魯棒，能夠重建日常生活中的運動，并且得到用戶能夠接受的質量；更重要的是，重建算法能夠給用戶實時反饋。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于多深度攝像機的動態場景實時三維重建方法，該方法可以有效保證實時性，提高魯棒性，提高運行速度，簡單易實現。

本發明的另一個目的在于提出一種基于多深度攝像機的動態場景實時三維重建裝置。

為達到上述目的，本發明一方面實施例提出了一種基于多深度攝像機的動態場景實時三維重建方法，包括以下步驟：對彩色圖像進行背景分割，提取并匹配圖像SIFT特征點，并且對深度圖像做雙邊濾波預處理；通過多視角非剛性對齊逐幀拼接所述深度圖像，以得到矯正后的深度圖像；通過非剛性變形將參考幀中的靜態模型與所述矯正后的深度圖像觀測對齊；在當前幀融合幾何模型，以重建拓撲變化以及處理跟蹤丟失的情況。

本發明實施例的基于多深度攝像機的動態場景實時三維重建方法，可以首先對彩色圖像進行背景分割，提取并匹配圖像SIFT特征點，從而對深度圖像做雙邊濾波等預處理，并采用多視角非剛性對齊的方法逐幀拼接深度圖像，以得到矯正后的深度圖像，進而利用非剛性變形的方法將參考幀中的靜態模型與矯正后的深度觀測對齊，融合當前幀觀測到的幾何模型，有效保證實時性，提高魯棒性，提高運行速度，簡單易實現。

另外，根據本發明上述實施例的基于多深度攝像機的動態場景實時三維重建方法還可以具有以下附加的技術特征：

進一步地，在本發明的一個實施例中，所述對彩色圖像進行背景分割，提取并匹配圖像SIFT特征點，并且對深度圖像做雙邊濾波預處理，進一步包括：通過綠幕摳圖分割前景人物并得到對應的輪廓圖；對所述深度圖像做雙邊濾波，并使用Scharr算子計算對應的法向圖并反投影得到相機坐標系中的三維點云。

進一步地，在本發明的一個實施例中，所述通過多視角非剛性對齊逐幀拼接所述深度圖像，進一步包括：將多視角深度圖像離散化成一組均勻網格，并且標記落在前景深度圖上的節點；用發生在節點處的剛性變形描述整體深度信息的非剛體變形，并且將一對(R_i,t_i)與每個變形節點相關聯；建立多視角對齊問題的能量函數，并且對所述能量函數進行求解，以得到多視角對齊的結果。

進一步地，在本發明的一個實施例中，所述能量函數包括第一能量函數和第二能量函數，其中，所述第一能量函數為：

其中，和T分別為每個視角的整體剛性變換和每個變形節點的局部剛性變形，ε_fit為空間約束，ε_arap為局部非剛性運動約束，ε_sift為SIFT圖像特征約束；

所述第二能量函數為：