[發明專利]基于三階球面諧波的動態場景高精度實時三維重建方法及系統

在審

• 申請號: 201810315991.0
• 申請日: 2018-04-10
• 公開（公告）號: CN108776990A
• 公開（公告）日: 2018-11-09
• 發明（設計）人: 劉燁斌;郭凱文;徐楓;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種基于三階球面諧波的動態場景高精度實時三維重建方法及系統，其中，方法包括：通過RGBD相機對動態場景進行拍攝，以得到深度和彩色圖像序列；將單張深度圖像變換為三維點云，獲取三維點云和重建模型頂點及參數化人體模型頂點之間的匹配點對；根據匹配點聯合能量函數，對能量函數進行求解，以根據求解結果將重建模型的幾何和表面反射率分別與三維點云和彩色圖像序列進行對齊；通過深度圖自適應性地更新和補全對其后的三維模型，并通過彩色圖像自適應地補全和更新場景表面的反射率信息。該方法求解準確魯棒，簡單易行，運行速度為實時，擁有廣闊的應用前景，可以在PC機或工作站等硬件系統上快速實現。

技術領域

本發明涉及計算機視覺和計算機圖形學技術領域，特別涉及一種基于三階球面諧波的動態場景高精度實時三維重建方法及系統。

背景技術

動態場景三維重建是計算機圖形學和計算機視覺領域的重點問題。高質量的動態場景三維模型在影視娛樂、物體三維數據統計分析等領域有著廣泛的應用前景和重要的應用價值。

然而，相關技術中，高質量三維場景模型的獲取通常依靠價格昂貴的激光掃描儀或者多相機陣列系統來實現，雖然精度較高，但是也顯著存在著一些缺點：第一，掃描過程中要求場景保持絕對靜止，微小的移動就會導致掃描結果存在明顯的誤差；第二，造假昂貴，很難普及到普通民眾日常生活中。第三，速度慢，重建一個中規模三維模型需要很長的時間。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于三階球面諧波的動態場景高精度實時三維重建方法，該方法求解準確魯棒，簡單易行，運行速度快，適用性廣。

本發明的另一個目的在于提出一種基于三階球面諧波的動態場景高精度實時三維重建系統。

為達到上述目的，本發明一方面實施例提出了一種基于三階球面諧波的動態場景高精度實時三維重建系統，包括以下步驟：通過RGBD相機對動態場景進行拍攝，以得到深度和彩色圖像序列；將單張深度圖像變換為三維點云，并獲取所述三維點云和重建模型頂點及參數化人體模型頂點之間的匹配點對；根據所述匹配點對和當前視角建立基于三階球面諧波光照模型的聯合能量函數，并交替求解所述重建模型上每一個頂點的非剛性運動位置變換參數和場景低頻光照信息；對所述能量函數進行求解，以根據求解結果將所述重建模型的幾何和表面反射率分別與所述三維點云和彩色圖像序列進行對齊；通過深度圖自適應性地更新和補全對其后的三維模型，并通過所述彩色圖像自適應地補全和更新場景表面的反射率信息。

本發明實施例的基于三階球面諧波的動態場景高精度實時三維方法，通過RGBD相機對場景進行拍攝，從而獲得深度圖像和彩色圖像作為系統輸入信息，并基于該輸入信息完成對動態場景進行實時三維重建的功能。該方法求解準確魯棒，簡單易行，運行速度為實時，擁有廣闊的應用前景，可以在PC機或工作站等硬件系統上快速實現。

另外，根據本發明上述實施例的基于三階球面諧波的動態場景高精度實時三維重建方法還可以具有以下附加的技術特征：

進一步地，在本發明的一個實施例中，所述能量函數為：

其中，E_total為運動求解總能量項，為當前時刻待求解非剛性運動參數，為當前時刻待求解場景光照；E_depth為深度數據項；E_shading為光照項；E_mreg為局部剛性運動約束項；E_lerg為場景光照求解正則項；λ_depth、λ_shading、λ_mreg和λ_lreg分別為對應各個能量項的權重系數。

進一步地，在本發明的一個實施例中，所述深度圖像的投影公式為：