[發明專利]一種基于深度學習的移動端表面光場渲染方法

有效

• 申請號: 201910167533.1
• 申請日: 2019-03-06
• 公開（公告）號: CN109829967B
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 張谷力;陳安沛;張迎梁
• 申請（專利權）人: 疊境數字科技（上海）有限公司
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06N3/04
• 代理公司: 上海京滬專利代理事務所(普通合伙) 31235
• 代理人: 周曉玲

1.一種基于深度學習的移動端表面光場渲染方法，其特征在于，包括以下步驟：

步驟S1：使用相機拍攝被渲染目標物體在固定光照環境固定位置下各個角度的采樣照片；

步驟S2：使用拍攝的所述采樣照片合成所述被渲染目標物體的360度環境貼圖；

步驟S3：將拍攝到的所述被渲染目標物體的N張所述采樣照片對齊到和所述被渲染目標物體的模型文件一致的空間坐標系下；

步驟S4：從所述被渲染目標物體的所述N張照片收集深度神經網絡的訓練數據，然后搭建所述深度神經網絡，并訓練所述深度神經網絡；

步驟S5：所述網絡訓練好后，在移動端實現所述網絡的前向過程，實時的渲染出所述被渲染目標物體在任意查看角度的表象，并且實現所述360度環境貼圖的切換，得到不同渲染結果的效果。

2.如權利要求1所述的基于深度學習的移動端表面光場渲染方法，其特征在于，所述步驟S1中拍攝的照片作為對目標物體上各個點的所述表象的稀疏采樣，同時在目標物體所在的位置，所述相機朝外360度均勻拍攝照片，所述拍攝照片數量為20-40張。

3.如權利要求1所述的基于深度學習的移動端表面光場渲染方法，其特征在于，所述訓練數據收集中，雙邊反射分布函數BRDF描述出射方向的radiance和入射方向的irradiance的比例，所述雙邊反射分布函數BRDF分成兩部分：

f_r(v_i，v_r)＝f_r，d(v_i，v_r)+f_r，s(v_i，v_r)

其中，v_i代表入射方向，v_r代表出射方向，f_r(v_i，v_r)代表BRDF整體，f_r，d(v_i，v_r)代表diffuse部分，f_r，s(v_i，v_r)代表specular部分。

4.如權利要求3所述的基于深度學習的移動端表面光場渲染方法，其特征在于，所述采樣照片的渲染公式為：

L(p，υ_r)＝∫_Ωf_r(p，υ_i，υ_r)L_i(p，υ_i)n·υ_idυ_i

其中L_i(p，v_i)是從v_i方向照射到點p的radiance。

5.如權利要求4所述的基于深度學習的移動端表面光場渲染方法，其特征在于，所述采樣照片的渲染公式可以根據f_r，s(v_i，v_r)＝ρ/π，其中ρ是點p的diffuse的值，將兩個積分分別簡化為：

L_s(p，υ_r)＝∫_ΩL_i(p，υ_i)dυ_i∫_ΩF_r，s(n，υ_i，υ_r，α，η)n·υ_idυ_i

所述L_s(p，v_r)中第一個積分由所述360度環境貼圖中預先計算得到，并用SH(n)表示，同時L_d(p，v_r)中的積分也從360度環境貼圖中預先計算得到，并用Pre(r)表示，深度神經網絡擬合的是L_s(p，v_r)中第二個積分，用Φ(n，v_i，v_r)表示，其中n和r分別代表點p的法線方向和光線的反射方向。