[發(fā)明專利]通過(guò)拓?fù)洳蓸舆M(jìn)行接合點(diǎn)形狀和外觀優(yōu)化

在審

• 申請(qǐng)?zhí)枺?/td>: 202210558436.7
• 申請(qǐng)日: 2022-05-20
• 公開（公告）號(hào): CN115439628A
• 公開（公告）日: 2022-12-06
• 發(fā)明（設(shè)計(jì)）人: J·N·T·黑塞爾格倫;C·J·蒙克貝里
• 申請(qǐng)（專利權(quán)）人: 輝達(dá)公司
• 主分類號(hào): G06T17/20
• 分類號(hào): G06T17/20;G06T15/50
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 高偉

公開了通過(guò)拓?fù)洳蓸舆M(jìn)行接合點(diǎn)形狀和外觀優(yōu)化，提出的系統(tǒng)和方法實(shí)現(xiàn)了優(yōu)化包括特定的3D場(chǎng)景或?qū)ο蟮男螤罴巴庥^的3D模型表示。不透明的3D網(wǎng)格(例如，頂點(diǎn)位置和對(duì)應(yīng)拓?fù)?和空間變化的材料屬性基于圖像空間損失進(jìn)行聯(lián)合優(yōu)化以匹配多個(gè)圖像觀察結(jié)果(例如，參考3D場(chǎng)景或?qū)ο蟮膮⒖紙D像)。幾何拓?fù)涠x了不透明3D網(wǎng)格中的可見并且可以基于圖像空間損失通過(guò)訓(xùn)練來(lái)隨機(jī)地初始化和優(yōu)化的面和/或單元。與使用透明網(wǎng)格表示相比，將幾何拓?fù)鋺?yīng)用于不透明的3D網(wǎng)格以學(xué)習(xí)該形狀提高了輪廓邊緣的準(zhǔn)確度和性能。相比于需要對(duì)該拓?fù)涞某跏疾聹y(cè)和/或?qū)赡艿膸缀瓮負(fù)涞母F舉測(cè)試的方法，該3D模型表示基于圖像空間差異進(jìn)行學(xué)習(xí)，而無(wú)需初始猜測(cè)。

要求優(yōu)先權(quán)

本申請(qǐng)要求2021年6月1日提交的題為“通過(guò)蒙特卡羅采樣的拓?fù)溥M(jìn)行接合點(diǎn)形狀和外觀優(yōu)化(JOINT SHAPE AND APPEARANCE OPTIMIZATION THROUGH MONTE CARLOSAMPLED TOPOLOGIES)”的美國(guó)臨時(shí)申請(qǐng)No.63/195,301的權(quán)益，其全部?jī)?nèi)容通過(guò)引用并入本文。

背景技術(shù)

合成具有復(fù)雜形狀和外觀的對(duì)象的圖像是計(jì)算機(jī)圖形學(xué)的核心目標(biāo)。問(wèn)題可以分解為為所述對(duì)象的形狀和外觀選擇合適的表示，根據(jù)所選擇的表示對(duì)三維(3D)場(chǎng)景進(jìn)行建模，最后高效地渲染該場(chǎng)景。為特定的3D場(chǎng)景創(chuàng)建形狀和外觀模型本質(zhì)上是一個(gè)逆問(wèn)題：尋找一個(gè)3D模型表示，其在被渲染時(shí)將產(chǎn)生按需顯現(xiàn)的二維(2D)圖像。在多次迭代中，逆向渲染用于基于正在建模的該3D場(chǎng)景的參考圖像迭代地恢復(fù)3D模型的形狀、光照和材料屬性。

現(xiàn)有技術(shù)通常依賴于至少部分地基于參考圖像(或參考3D模型)確定的初始體網(wǎng)格或3D模型(立方體、球體等)。其他技術(shù)依賴于使用統(tǒng)一體網(wǎng)格的所有可能拓?fù)溥M(jìn)行訓(xùn)練，并且在執(zhí)行時(shí)間方面實(shí)現(xiàn)起來(lái)代價(jià)高。例如，深度步進(jìn)立方體技術(shù)為統(tǒng)一3D網(wǎng)格中的每個(gè)立方體評(píng)估140種可能的拓?fù)洹＿€有其他技術(shù)產(chǎn)生的3D模型存在幾何結(jié)構(gòu)不準(zhǔn)確。存在解決與現(xiàn)有技術(shù)關(guān)聯(lián)的這些問(wèn)題和/或其他問(wèn)題的需求。

發(fā)明內(nèi)容

本公開的實(shí)施例涉及通過(guò)拓?fù)洳蓸拥慕雍宵c(diǎn)形狀和外觀優(yōu)化。公開了實(shí)現(xiàn)優(yōu)化包括特定3D場(chǎng)景或?qū)ο蟮男螤詈屯庥^的3D模型表示的系統(tǒng)和方法。在一個(gè)實(shí)施例中，不需要使用該3D場(chǎng)景或?qū)ο蟮囊恍┲R(shí)的幾何拓?fù)涞某跏疾聹y(cè)。在一個(gè)實(shí)施例中，幾何拓?fù)涠x了可見的(例如，啟用的、活動(dòng)的、包括的)體網(wǎng)格的單元(例如，3D網(wǎng)格、填充(packed)四面體)和/或單元的面(例如，三角形、四邊形等)。幾何拓?fù)淇梢曰趫D像空間損失通過(guò)訓(xùn)練來(lái)隨機(jī)地初始化和優(yōu)化。與使用透明網(wǎng)格表示相比，將所述幾何拓?fù)鋺?yīng)用于不透明3D網(wǎng)格以學(xué)習(xí)所述形狀可提高輪廓邊緣的準(zhǔn)確性和性能。與需要對(duì)該拓?fù)涞某跏疾聹y(cè)和/或?qū)赡艿膸缀瓮負(fù)溥M(jìn)行窮盡測(cè)試的方法相比，所述幾何拓?fù)涫腔趫D像空間差學(xué)習(xí)的，而無(wú)需初始猜測(cè)。外觀驅(qū)動(dòng)的3D模型提取有很多用途，例如創(chuàng)建復(fù)雜場(chǎng)景的多個(gè)細(xì)節(jié)層次的渲染，不同渲染系統(tǒng)之間的轉(zhuǎn)換，甚至不同幾何場(chǎng)景表示之間的轉(zhuǎn)換。

在一個(gè)實(shí)施例中，不透明3D網(wǎng)格(例如，頂點(diǎn)位置和定義這些頂點(diǎn)位置之間的連接以形成表面或體的面的相應(yīng)拓?fù)?和3D模型表示的空間變化的材料屬性基于圖像空間損失進(jìn)行聯(lián)合優(yōu)化以匹配多個(gè)圖像觀察結(jié)果(例如，所述參考3D場(chǎng)景或?qū)ο蟮膮⒖紙D像)。所述3D模型表示由可微分渲染器渲染以產(chǎn)生與所述參考圖像相對(duì)應(yīng)的經(jīng)渲染圖像。所述圖像空間損失是基于與包括在體網(wǎng)格中的面相關(guān)聯(lián)的計(jì)算的概率值以及參考圖像和經(jīng)渲染圖像之間的差來(lái)計(jì)算的。更高的概率值對(duì)應(yīng)于該面被包括在該3D模型表示中的更高的可能性。因此，可以從該3D模型表示中移除與概率值為零(或低于最小閾值)相關(guān)聯(lián)的面或單元(單元不是基于所述概率值插入的)。該圖像空間損失被反向傳播以更新用于生成該3D模型表示和概率值的學(xué)習(xí)的參數(shù)。