[發明專利]基于可微渲染的單張積云圖像重建方法

有效

• 申請號: 202110336694.6
• 申請日: 2021-03-29
• 公開（公告）號: CN113140033B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 梁曉輝;朱晨曦
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/08;G06N3/04
• 代理公司: 北京唯智勤實知識產權代理事務所(普通合伙) 11557
• 代理人: 陳佳

本公開的實施例公開了基于可微渲染的單張積云圖像重建方法。該方法的一具體實施方式包括：獲取單張的自然積云圖像；通過編碼?解碼器結構的卷積神經網絡確定圖像的密度；確定三維空間中積云結構的損失函數；通過反向模型，確定等式中各變量梯度，并利用梯度優化算法對積云結構進行迭代更新；將積云模型投影至二維平面，以生成深度圖和輪廓圖；使用紋理生成網絡，生成相應的積云圖像。

技術領域

本公開的實施例涉及計算機技術領域，具體涉及基于可微渲染的單張積云圖像重建方法。

背景技術

積云的三維重建在計算機圖形學領域一直是學者們關注的研究問題之一。在自然條件下，目前的觀測設備很難對云的全貌進行觀測，想要獲取同一朵云的多視點圖像則需要付出高昂的代價，通過無人機或航拍才有可能得到同一朵云的多視點圖像，由此可知云的真實三維數據是不易獲取且昂貴的。因此針對單張自然圖像的積云建模就顯得尤其具有研究價值。

近年來，可微渲染網絡得到了研究者們的關注，并在此方面展開了一系列研究，使用近似梯度進行替換傳統的柵格化渲染、或提出了可微的投影操作以獲取輪廓、法線等信息。可微渲染在深度學習的三維重建中起著重要的橋梁作用，可以連接三維模型數據與二維的圖像數據，這讓使用圖像訓練三維模型重建網絡成為可能。

本工作僅在計算機圖形學范疇內針對積云這種自然現象的表觀建模進行研究，擬結合可微渲染網絡得到積云的渲染圖像，從而使用渲染出來的積云圖像與真實的積云數據集圖像傳入判別器進行判別，判別后將梯度反傳對積云結構生成網絡進行無監督訓練。本研究提出了一個基于可微渲染網絡的無監督積云重建框架，包含了積云結構生成網絡、積云渲染網絡兩部分。

本發明與現有技術相比的優點在于：

(1)本發明降低了網絡訓練門檻，減少了數據集的制作難度，以可微渲染技術為橋梁連通二維與三維數據的鴻溝，并提出一個無監督的單張積云圖像建模框架。

(2)本發明考慮了參與性介質的物理特性，參與性介質會與光發生交互，如吸收、發射、散射從而改變光能的的強度大小，重建積云的密度場，提高了重建結果的真實感。

(3)構造可微的積云投影模塊，適用于流體的深度和輪廓提取操作，該可微模塊可與神經網絡進行銜接一起構造訓練網絡。

發明內容

本公開的內容部分用于以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。本公開的內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

本公開的一些實施例提出了基于可微渲染的單張積云圖像重建方法方法，來解決以上背景技術部分提到的技術問題中的一項或多項。

第一方面，本公開的一些實施例提供了一種基于可微渲染的單張積云圖像重建方法，該方法包括：獲取單張的自然積云圖像；通過編碼-解碼器結構的卷積神經網絡確定圖像的密度；確定三維空間中積云結構的損失函數；通過反向模型，確定等式中各變量梯度，并利用梯度優化算法對積云結構進行迭代更新；將積云模型投影至二維平面，以生成深度圖和輪廓圖；使用紋理生成網絡，生成相應的積云圖像。

本發明的出發點為這樣一個前提條件：即估計的積云體積密度分布V在固定視角α下投影到成像平面的輪廓與目標積云圖像的輪廓S相一致。換而言之，預測的積云體積密度分布V在固定視角α下，其生成的投影輪廓與ground truth S越接近，則預測的積云體積密度分布越接近于圖像I的真實密度分布。

附圖說明

結合附圖并參考以下具體實施方式，本公開各實施例的上述和其他特征、優點及方面將變得更加明顯。貫穿附圖中，相同或相似的附圖標記表示相同或相似的元素。應當理解附圖是示意性的，元件和元素不一定按照比例繪制。

圖1是本公開的一些實施例的基于可微渲染的單張積云圖像重建方法的一個應用場景的示意圖；