[發明專利]基于光度立體的自由視角重光照方法和系統

有效

• 申請號: 201010188306.6
• 申請日: 2010-05-21
• 公開（公告）號: CN101872491A
• 公開（公告）日: 2010-10-27
• 發明（設計）人: 戴瓊海;李冠楠
• 申請（專利權）人: 清華大學
• 主分類號: G06T15/50
• 分類號: G06T15/50;G03B35/08;G03B15/02
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 黃德海

1.一種用于動態場景的，基于光度立體的自由視角重光照方法，其特征在于，包括以下步驟：

在預設的可控變化光照條件下，利用多視角攝像陣列采集目標物體的多視角動態視頻圖像；

根據采集的所述多視角動態視頻圖像獲取所述目標物體的三維模型及模型表面反射特性；

根據所述目標物體的三維模型和模型表面反射特性獲得所述目標物體的靜態三維物體重光照模型，并根據所述三維模型、模型表面反射特性及所述多視角動態視頻圖像獲得所述目標物體的三維運動軌跡；

根據所述目標物體的三維運動軌跡和所述靜態三維物體重光照模型獲得所述目標物體在各時刻的動態三維物體重光照模型；和

基于用戶給定的任意自由視角，對所述目標物體的動態三維物體重光照模型進行依賴所述自由視角的渲染，以實現所述目標物體的自由視角重光照。

2.如權利要求1所述的方法，其特征在于，還包括：

根據所述預設的可控變化光照條件設置可控光源序列，所述可控光源序列包括多個LED光源。

3.如權利要求2所述的方法，其特征在于，還包括：

對所述多視角攝像陣列進行幾何及顏色校準，以及對所述多視角攝像陣列和所述可控光源序列進行同步校準。

4.如權利要求2所述的方法，其特征在于，還包括：

在采集場景中央放水晶球，在所述預設的可控光照序列下利用所述多視角攝像陣列對所述水晶球進行拍攝；和

對拍攝的多視角視頻中各幀水晶球圖像進行全景拼圖，得到各時刻對應的場景光照環境圖。

5.如權利要求4所述的方法，其特征在于，所述獲取目標物體的三維模型及模型表面反射特性的步驟包括：

利用獲得的每個單視角中所述目標物體的動態視頻，獲取所述目標物體在對應的單視角中的可見區域表面的法向和反射特性信息；和

對獲取的目標物體在各個單視角中的可見區域表面的法向和反射特性信息進行融合，以獲取所述目標物體的三維模型及模型表面反射特性。

6.如權利要求5所述的方法，其特征在于，所述利用獲得的每個單視角的動態視頻，獲取目標物體在對應的單視角中的可見區域表面的法向和反射特性的步驟包括：

對獲得的每個單視角的動態視頻中均勻光照下拍攝的兩個圖像幀進行對齊操作，并獲得所述目標物體的二維運動軌跡；

對已獲得的二維運動軌跡進行插值，并將變化光照下拍攝的各圖像幀與均勻光照下拍攝的圖像幀對齊；

利用魯棒的主分量分析方法RPCA對變化光照和均勻光照下的各圖像幀中像素的置信度進行篩選；以及

利用得到的高置信度光照條件下采集得到的圖像幀，基于多項式紋理模型恢復所述目標物體在所述單視角中的可見區域表面的法向及反射特性信息。

7.如權利要求6所述的方法，其特征在于，所述利用得到的高置信度光照條件下采集得到的圖像幀，基于多項式紋理模型恢復所述目標物體在單視角中的可見區域表面的法向及反射特性信息的步驟包括：

根據漫反射光照模型I^d＝ρ^d(N*L)，恢復所述目標物體在單視角中的可見區域表面的法向N及漫反射特性ρ^d，其中，L根據所述場景光照環境圖計算獲得；

根據鏡面反射特性I^s＝I-I^d，其中，I為采集的圖像幀中的像素值，并基于多項式紋理模型恢復相應可見區域表面的鏡面反射特性其中，分別對應1到k階的鏡面反射多項式系數；和

對所述漫反射特性ρ^d和所述鏡面反射特性進行綜合得到所述可見區域表面的反射特性

8.如權利要求7所述的方法，其特征在于，所述多項式紋理模型為：

其中，H＝1/2(V+L)，K為多項式紋理模型的階數，L為入射光方向，V為觀察視角方向，H為利用L和V計算得到的半角向量。

9.如權利要求7所述的方法，其特征在于，還包括，在可見區域內的每個子塊內對所述目標物體的法向及表面反射特性添加局部平滑約束，所述可見區域被劃分為多個子塊。