[發明專利]基于神經網絡的實時光照估計與渲染方法及系統

有效

• 申請號: 202110639919.5
• 申請日: 2021-06-09
• 公開（公告）號: CN113096228B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 徐迪;李臻;毛文濤;孫立
• 申請（專利權）人: 上海影創信息科技有限公司
• 主分類號: G06T15/10
• 分類號: G06T15/10;G06N3/04;G06N3/08
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

1.一種基于神經網絡的實時光照估計與渲染系統，其特征在于，包括以下多種模塊：

相機讀取模塊：用于端側設備的實時相機視頻流獲取，并對視頻逐幀進行預處理操作生成視頻序列幀；

神經網絡推理模塊：采用輕量級卷積神經網絡作為骨干網絡，生成光照估計的結果，采用優化的逆殘差瓶頸結構提高網絡的學習能力，將視頻序列幀輸入輕量級卷積神經網絡，通過骨干網絡產生1280維的潛在空間向量，然后通過全連接層從潛在空間向量得到光照結果，即球諧光波系數；

虛擬物體加載模塊：用于加載三維虛擬物體，作為光照結果渲染的對象，加載三維虛擬物體模型時，能將整個模型封裝成一個場景對象，所述場景對象中包含了一系列的場景節點用來存儲頂點數據和面索引，采用遞歸地獲取網格對象并處理得到渲染所需要的頂點數據、面索引、紋理以及材質數據；

球諧光波實時渲染與融合模塊：利用球諧光波系數去渲染虛擬物體實現跨平臺的渲染與融合，先與虛擬物體加載模塊結合綁定頂點數據、面索引、紋理以及材質數據至頂點數組對象上，然后在獲取相機視頻流和球諧光波系數，最后更新著色器，將渲染后的三維虛擬物體顯示于相機視頻流之前。

2.根據權利要求1所述的基于神經網絡的實時光照估計與渲染系統，其特征在于，經過預處理之后的視頻序列幀作為光照估計的輸入。

3.一種基于神經網絡的實時光照估計與渲染方法，其特征在于，采用權利要求1-2中任一項所述的基于神經網絡的實時光照估計與渲染系統進行實時光照估計與渲染。

4.根據權利要求3所述的基于神經網絡的實時光照估計與渲染方法，其特征在于，包括如下步驟：

相機讀取步驟：對端側設備的實時相機視頻流進行獲??；

神經網絡推理步驟：利用輕量級網絡生成光照估計的結果；

虛擬物體加載步驟：加載三維虛擬物體，作為光照結果渲染的對象；

球諧光波實時渲染與融合步驟：利用球諧光波系數去渲染虛擬物體實現跨平臺的渲染與融合。