[發(fā)明專利]三維場景渲染方法、設備以及存儲介質

有效

• 申請?zhí)枺?/td>: 202210080688.3
• 申請日: 2022-01-24
• 公開（公告）號: CN114119849B
• 公開（公告）日: 2022-06-24
• 發(fā)明（設計）人: 李玉潔;付歡;蔡博文;章堅;羅鴻城;王家明;黃錦池;趙斌強;賈榮飛;湯興
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06T15/20
• 分類號: G06T15/20;G06T15/50;G06T15/06;G06T17/00
• 代理公司: 北京太合九思知識產(chǎn)權代理有限公司 11610
• 代理人: 劉戈;張愛

1.一種圖像生成方法，其特征在于，包括：

根據(jù)目標物體對應的顯式三維模型和初始三維場景，生成包含所述顯式三維模型的目標三維場景，所述顯式三維模型在所述目標三維場景中對應第一相機位姿；

對所述目標三維場景進行基于物理的渲染，至少得到初始二維場景圖像和包括第一光照信息的第一光照圖像，所述第一光照信息反映所述顯式三維模型與所述目標三維場景之間的光照關系；

根據(jù)所述第一相機位姿，利用所述目標物體對應的目標隱式三維表征模型生成所述目標物體對應的第一視角圖像，所述第一視角圖像具有第二光照信息；

將所述第一光照圖像中的第一光照信息和所述第一視角圖像融合至所述初始二維場景圖像中所述目標物體所在的圖像區(qū)域，得到目標二維場景圖像。

2.根據(jù)權利要求1所述的方法，其特征在于，根據(jù)所述第一相機位姿，利用所述目標物體對應的目標隱式三維表征模型生成所述目標物體對應的第一視角圖像，包括：

根據(jù)所述顯式三維模型在世界坐標系下的初始位姿和其在所述目標三維場景中的最終位姿，將所述第一相機位姿轉換為世界坐標系下的第二相機位姿；

根據(jù)所述第二相機位姿和所述顯式三維模型進行渲染生成多條目標視線，并獲取所述多條目標視線上空間點的空間坐標和視角信息；

將所述多條目標視線上空間點的空間坐標和視角信息輸入所述目標隱式三維表征模型進行視圖合成，得到所述第一視角圖像。

3.根據(jù)權利要求2所述的方法，其特征在于，根據(jù)所述第二相機位姿和所述顯式三維模型進行渲染生成多條目標視線，并獲取所述多條目標視線上空間點的空間坐標和視角信息，包括：

根據(jù)所述第二相機位姿對所述顯式三維模型進行光柵化渲染，得到所述顯式三維模型上位于所述第二相機位姿對應視野范圍內的目標表面點及其顏色信息，所述目標表面點的顏色信息表示該目標表面點對應視線的平均視角信息；

針對任一目標表面點，獲取所述第二相機位姿對應的相機光心到所述目標表面點的目標視線上空間點的空間坐標，并將所述目標表面點的顏色信息轉換為其所表示的平均視角信息作為所述目標視線上空間點的視角信息。

4.根據(jù)權利要求3所述的方法，其特征在于，還包括：

根據(jù)包含所述目標物體的多張原始圖像進行基于神經(jīng)網(wǎng)絡的三維重建，得到初始隱式三維表征模型，所述目標物體上的表面點與對應原始圖像中的像素點對應，且與拍攝到所述像素點的第一視線對應；

根據(jù)所述初始隱式三維表征模型和所述多張原始圖像，構建顯式三維模型，所述顯式三維模型包括所述目標物體上表面點的顏色信息，每個表面點的顏色信息是根據(jù)該表面點對應的第一視線的平均視角信息確定的；

隨機生成所述顯式三維模型上表面點對應的第二視線，并根據(jù)每個表面點的顏色信息分別生成每個表面點對應的第二視線對應的平均視角信息；

根據(jù)所述第二視線對應的平均視角信息和所述第二視線上空間點的空間坐標，基于所述初始隱式三維表征模型進行基于神經(jīng)網(wǎng)絡的三維重建，得到目標隱式3D表征模型。

5.根據(jù)權利要求1所述的方法，其特征在于，將所述第一光照圖像中的第一光照信息和所述第一視角圖像融合至所述初始二維場景圖像中所述目標物體所在的圖像區(qū)域，得到目標二維場景圖像，包括：

將所述第一光照圖像中的第一光照信息遷移至所述第一視角圖像中，得到具有所述第一光照信息的第二視角圖像；

將所述第二視角圖像融合至所述初始二維場景圖像中所述目標物體所在的圖像區(qū)域，得到目標二維場景圖像。

6.根據(jù)權利要求5所述的方法，其特征在于，將所述第一光照圖像中的第一光照信息遷移至所述第一視角圖像中，得到具有所述第一光照信息的第二視角圖像，包括：

將所述第一光照圖像和所述第一視角圖像輸入光照遷移模型中，利用所述光照遷移模型中的光照解耦網(wǎng)絡將所述第二光照信息從所述第一視角圖像中剝離，得到不帶光照信息的第一中間態(tài)圖像；

利用所述光照遷移模型中的光照融合網(wǎng)絡將所述第一光照圖像中的第一光照信息與所述第一中間態(tài)圖像進行融合，得到具有所述第一光照信息的第二視角圖像。