[發明專利]三維模型重建與圖像生成方法、設備以及存儲介質

有效

• 申請號: 202210081291.6
• 申請日: 2022-01-24
• 公開（公告）號: CN114119839B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 章堅;付歡;黃錦池;羅鴻城;李玉潔;王家明;趙斌強;蔡博文;賈榮飛;湯興
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T19/20
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 劉戈;張愛

本申請實施例提供一種三維模型重建與圖像生成方法、設備以及存儲介質。在本申請實施例中，以包含目標物體的多張原始圖像為基礎分別進行基于神經網絡的三維重建和傳統的三維重建，得到初始隱式3D表征模型和顯式三維模型；基于顯式三維模型進行隨機視線和平均視角的生成，通過產生隨機視線并以隨機視線對應的平均視角信息代替其真實視角信息的方式，利用隨機視線及其對應的平均視角信息增強視線數據，基于增強后的視線數據繼續進行基于神經網絡的三維重建，可以得到對視線具有較強魯棒性的隱式3D表征模型，大大提升基于該隱式3D表征模型合成不同視角圖像時的魯棒性。

技術領域

本申請涉及圖像處理技術領域，尤其涉及一種三維模型重建與圖像生成方法、設備以及存儲介質。

背景技術

新視角合成技術是指針對一個三維場景，使用該三維場景的已有圖像生成任意視角下的高真實感圖像的技術。新視角合成依賴三維場景精確的幾何結構，但是，由于現實世界中的三維場景比較復雜，很難獲得三維場景精確的幾何結構，這導致新視角合成技術從理論到落地實施較為困難。

于是，業界提出了神經輻射場（Neural Radiance Field，NERF）算法，該算法利用全連接網絡來表示三維場景，其輸入是一個連續的5維坐標：空間位置（x，y，z）和視角信息（θ，?），其輸出是該空間位置處的體積密度和視角相關的顏色信息；進一步結合立體渲染（volume rendering）技術，可以將輸出的顏色信息和體積密度投影到2D圖像上，從而實現新視圖合成。由于簡單結構和良好的渲染效果，NERF算法吸引了大量關注，但是，它的視角魯棒性較差，部分視角的圖像合成效果不好，難以應用于實際場景中。

發明內容

本申請的多個方面提供一種三維模型重建與圖像生成方法、設備以及存儲介質，用以提升基于隱式三維表征模型進行模型推理如視角圖像合成時的視角魯棒性。

本申請實施例提供一種三維模型重建方法，包括：根據包含目標物體的多張原始圖像進行基于神經網絡的三維重建，得到初始隱式3D表征模型，所述目標物體上的表面點與對應原始圖像中的像素點對應，且與拍攝到所述像素點的第一視線對應；根據所述初始隱式3D表征模型和所述多張原始圖像，構建顯式三維模型，所述顯式三維模型包括所述目標物體上表面點的顏色信息，每個表面點的顏色信息是根據該表面點對應的第一視線的平均視角信息確定的；隨機生成所述顯式三維模型上表面點對應的第二視線，并根據每個表面點的顏色信息分別生成每個表面點對應的第二視線對應的平均視角信息；根據所述第二視線對應的平均視角信息和所述第二視線上空間點的空間坐標，基于所述初始隱式3D表征模型進行基于神經網絡的三維重建，得到目標隱式3D表征模型。

本申請實施例還提供一種圖像生成方法，包括：根據待渲染的目標相機位姿和目標物體對應的顯式三維模型，確定待渲染的目標視線和所述目標視線對應的平均視角信息；根據所述目標視線上空間點的空間坐標和所述目標視線對應的平均視角信息，結合所述目標物體對應的目標隱式3D表征模型，生成所述目標物體在所述目標相機位姿下的目標圖像；其中，所述顯式三維模型和目標隱式3D表征模型是融入視線先驗信息和平均視角信息進行基于神經網絡的三維重建得到的。

本申請實施例還提供一種計算機設備，包括：存儲器和處理器；存儲器，用于存儲計算機程序；處理器耦合至存儲器，用于執行計算機程序以用于執行本申請實施例提供的三維模型重建方法或圖像生成方法中的步驟。

本申請實施例還提供一種存儲有計算機程序的計算機存儲介質，當計算機程序被處理器執行時，致使處理器能夠實現本申請實施例提供的三維模型重建方法或圖像生成方法中的步驟。