[發明專利]基于三階球面諧波的動態場景高精度實時三維重建方法及系統

在審

• 申請號: 201810315991.0
• 申請日: 2018-04-10
• 公開（公告）號: CN108776990A
• 公開（公告）日: 2018-11-09
• 發明（設計）人: 劉燁斌;郭凱文;徐楓;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種基于三階球面諧波的動態場景高精度實時三維重建方法，其特征在于，包括以下步驟：

通過RGBD相機對動態場景進行拍攝，以得到深度和彩色圖像序列；

將單張深度圖像變換為三維點云，并獲取所述三維點云和重建模型頂點及參數化人體模型頂點之間的匹配點對；

根據所述匹配點對和當前視角建立基于三階球面諧波光照模型的聯合能量函數，并交替求解所述重建模型上每一個頂點的非剛性運動位置變換參數和場景低頻光照信息；

對所述能量函數進行求解，以根據求解結果將所述重建模型的幾何和表面反射率分別與所述三維點云和彩色圖像序列進行對齊；

通過深度圖自適應性地更新和補全對其后的三維模型，并通過所述彩色圖像自適應地補全和更新場景表面的反射率信息。

2.根據權利要求1所述的基于三階球面諧波的動態場景高精度實時三維重建方法，其特征在于，所述能量函數為：

其中，E_total為運動求解總能量項，為當前時刻待求解非剛性運動參數，為當前時刻待求解場景光照，E_depth為深度數據項，E_shading為光照項，E_mreg為局部剛性運動約束項，E_lerg為場景光照求解正則項，λ_depth、λ_shading、λ_mreg和λ_lreg分別為對應各個能量項的權重系數。

3.根據權利要求1所述的基于三階球面諧波的動態場景高精度實時三維重建方法，其特征在于，所述深度圖像的投影公式為：

其中，u，v為像素坐標，d(u，v)為深度圖像上像素(u，v)位置處的深度值，為深度相機內參矩陣。

4.根據權利要求1所述的基于三階球面諧波的動態場景高精度實時三維重建方法，其特征在于，所述頂點的計算公式為：

其中，為作用于頂點v_i的變形矩陣，包括旋轉和平移兩部分；為變形矩陣的旋轉部分。

5.根據權利要求1-4任一項所述的基于三階球面諧波的動態場景高精度實時三維重建方法，其特征在于，根據所述對齊后的三維模型到相應深度觀測的距離來對模型更新進行加權，并且設有最大融合幀數，以在所述三維模型融合滿足預設條件的深度觀測后，停止模型更新，轉而只進行場景運動的求解。

6.一種基于三階球面諧波的動態場景高精度實時三維重建系統，其特征在于，包括：

信息采集模塊，用于通過RGBD相機對動態場景進行拍攝，以得到深度和彩色圖像序列；

聯合匹配模塊，用于將單張深度圖像變換為三維點云，并獲取所述三維點云和重建模型頂點及參數化人體模型頂點之間的匹配點對；

光照、運動聯合解算模塊，用于根據所述匹配點對和當前視角建立基于三階球面諧波光照模型的聯合能量函數，并交替求解所述重建模型上每一個頂點的非剛性運動位置變換參數和場景低頻光照信息；

圖像序列對齊模塊，用于對所述能量函數進行求解，以根據求解結果將所述重建模型的幾何和表面反射率分別與所述三維點云和彩色圖像序列進行對齊；

自適應模型更新模塊，用于通過深度圖自適應性地更新和補全對其后的三維模型，并通過所述彩色圖像自適應地補全和更新場景表面的反射率信息。

7.根據權利要求6所述的基于三階球面諧波的動態場景高精度實時三維重建系統，其特征在于，所述能量函數為：

其中，E_total為運動求解總能量項，為當前時刻待求解非剛性運動參數，為當前時刻待求解場景光照，E_depth為深度數據項，E_shading為光照項，E_mreg為局部剛性運動約束項，E_lerg為場景光照求解正則項，λ_depth、λ_shading、λ_mreg和λ_lreg分別為對應各個能量項的權重系數。