[發明專利]一種基于可導渲染的場景光照與反射建模方法

有效

• 申請號: 202210712261.0
• 申請日: 2022-06-22
• 公開（公告）號: CN114972617B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 施柏鑫;于博涵;楊思祺;崔軒寧;董思言;陳寶權
• 申請（專利權）人: 北京大學
• 主分類號: G06T15/50
• 分類號: G06T15/50;G06T15/06;G06N3/04;G06N3/08
• 代理公司: 北京挺立專利事務所(普通合伙) 11265
• 代理人: 高福勇

1.一種基于可導渲染的場景光照與反射建模方法，其特征在于，包括以下步驟：

S1、訓練數據采集：使用合成數據集和真實數據集進行測試，合成數據選擇PBRS數據集和AI2-THOR數據集，將其中的特定場景轉換為基于蒙特卡洛光線追蹤算法的可導渲染器的輸入格式，重新進行物理渲染，得到的新場景作為合成數據；真實數據包括深度相機采集到的掃描幾何和全景相機采集到的照片；

S2、數據調優對齊：將真實數據中采集的照片通過Debevec方法合并HDR照片，在場景中放置若干張AprilTag視覺基準系統的標簽Tag36h11，在掃描幾何和拍攝照片中分別識別這些標簽，每張照片至少包含4個標簽，將全景相機采集到的照片和深度相機采集到的幾何對齊，并在三維掃描時輔助相機位姿的注冊；

S3、材質光照參數生成：將幾何信息輸入到具有發光體多反射的室內場景逆渲染模型中，生成六張參數貼圖，六張參數貼圖分別為：漫反射率貼圖、鏡面反射貼圖、自發光貼圖、環境光貼圖、窗戶貼圖和粗糙度貼圖；具有發光體多反射的室內場景逆渲染模型首先對深度相機得到的幾何圖形進行UV展開，計算UV貼圖上每個像素對應三維世界中的XYZ坐標，將其作為MLP網絡的輸入生成六張參數貼圖；在使用網絡生成貼圖時，加入了一個數值損失項

S4、圖片渲染：對照片中的每一個像素，結合相機位姿傳入基于蒙特卡洛光線追蹤算法的可導渲染器，生成渲染后的照片；基于蒙特卡洛光線追蹤算法的可導渲染器通過相機內外參矩陣和響應曲線，將渲染后的照片恢復為沿著光線方向所觀察到的輻射度值，利用蒙特卡洛光線追蹤算法對cook-torrance反射模型進行近似求解，渲染方程如下：

L(ω_r,x)＝E(ω_r,x)+∫_ΩF(ω_i,ω_r,x)L(ω_i,y)cosθdω_i

其中，ω_r為反射光線的方向，ω_i為入射光線的方向，x為入射光線與場景表面相交點，y為入射光線的光源所在點，L為y點處光源發出的方向為ω_i的光線的輻射強度，E為光源模型，F為雙向反射分布函數模型，θ為入射光線和表面法線的夾角，Ω為積分的上半球面；

S5、監督學習：借助基于蒙特卡洛光線追蹤算法的可導渲染器渲染得到給定光線的輻射度，并使用以下損失函數來將其與照片中觀察到的真實輻射度進行比較：

其中，ω_j為第j條光線的方向，x_j為光線出發點，L(ω_j,x_j)為從x_j點出發第j條光線最終算出的輻射值，為每一輻射光線的真實輻射值，k為范式的階數，M為觀測到的輻射光線總數。

2.根據權利要求1所述的基于可導渲染的場景光照與反射建模方法，其特征在于，步驟S1中，在使用合成數據集時，將多個虛擬攝像機放置到每個場景中，并使用基于蒙特卡洛光線追蹤算法的可導渲染器渲染用作真實值的圖像。

3.根據權利要求1所述的基于可導渲染的場景光照與反射建模方法，其特征在于，步驟S1中的真實數據，使用深度相機和三維掃描軟件采集室內場景的幾何模型，照片部分用360度全景相機進行拍照，拍照時使用多次曝光方法采集HDR圖像，根據不同場景不同亮度，選擇以2為底數，等比數列遞增的7組曝光時間。

4.根據權利要求1所述的基于可導渲染的場景光照與反射建模方法，其特征在于，步驟S2選擇20到40個相機位姿點，用于對具有發光體多反射的室內場景逆渲染模型行訓練。

5.根據權利要求1所述的基于可導渲染的場景光照與反射建模方法，其特征在于，步驟S3中，具有發光體多反射的室內場景逆渲染模型對幾何圖形進行UV展開時，添加位置編碼γ(x)，將場景中的點坐標轉化為編碼向量，代替點坐標作為神經網絡的輸入，x表示入射光線與場景表面相交點的坐標。