[發(fā)明專利]一種基于深度學(xué)習(xí)的移動(dòng)端表面光場(chǎng)渲染方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910167533.1
• 申請(qǐng)日: 2019-03-06
• 公開（公告）號(hào): CN109829967B
• 公開（公告）日: 2022-11-25
• 發(fā)明（設(shè)計(jì)）人: 張谷力;陳安沛;張迎梁
• 申請(qǐng)（專利權(quán)）人: 疊境數(shù)字科技（上海）有限公司
• 主分類號(hào): G06T15/00
• 分類號(hào): G06T15/00;G06N3/04
• 代理公司: 上海京滬專利代理事務(wù)所(普通合伙) 31235
• 代理人: 周曉玲

本發(fā)明公開了一種基于深度學(xué)習(xí)的移動(dòng)端表面光場(chǎng)渲染方法，包括步驟S1：使用相機(jī)對(duì)著目標(biāo)物體拍攝被渲染目標(biāo)物體各個(gè)角度的采樣照片；步驟S2：使用照片合成目標(biāo)物體當(dāng)前所在的環(huán)境的360度環(huán)境貼圖；步驟S3：將采樣照片對(duì)齊到和被渲染目標(biāo)物體的模型文件一致的空間坐標(biāo)系下；步驟S4：收集深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，搭建并訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)；步驟S5：實(shí)時(shí)的渲染出被渲染目標(biāo)物體在任意查看角度的表象，并且實(shí)現(xiàn)360度環(huán)境貼圖的切換，得到不同渲染結(jié)果的效果。本發(fā)明運(yùn)用了先進(jìn)的深度學(xué)習(xí)架構(gòu)，去擬合渲染方程中的一個(gè)積分，削減了在渲染過程中的運(yùn)算量，在渲染的時(shí)候，本發(fā)明就可以隨意切換環(huán)境貼圖，達(dá)到一個(gè)relighting的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及物體表面渲染領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的移動(dòng)端表面光場(chǎng)渲染方法。

背景技術(shù)

重現(xiàn)真實(shí)世界中的物體的外觀表象相關(guān)的研究一直是計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺領(lǐng)域活躍的研究方向，因?yàn)樵摷夹g(shù)有著巨大的實(shí)用價(jià)值的應(yīng)用場(chǎng)景，除了虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)之外，工業(yè)界衣服材質(zhì)設(shè)計(jì)也可以使用該技術(shù)進(jìn)行虛擬材質(zhì)的模擬和仿真，電子商務(wù)領(lǐng)域也同樣可以借用該技術(shù)真實(shí)地向用戶展示商品。近幾年一些移動(dòng)設(shè)備如智能手機(jī)和一些頭戴式設(shè)備發(fā)展迅速，大部分設(shè)備都裝配有相機(jī)和GPU(圖形處理器)，這樣一些設(shè)備使得在移動(dòng)端進(jìn)行物體渲染更可靠和可行。但是又由于移動(dòng)設(shè)備的一些配置限制，比如計(jì)算資源短缺，電池容量，以及散熱問題，使得在手機(jī)端進(jìn)行高幀率的物體渲染成為現(xiàn)有的又一大挑戰(zhàn)。

基于物理的渲染方法(PBR)能夠獲得及其準(zhǔn)確和合理的渲染結(jié)果，但是該方法需要本發(fā)明提前獲取被渲染的物體的物理材質(zhì)屬性，比如粗糙度，金屬度，BRDF(雙邊反射分布函數(shù))等一些獲取過程極其繁雜的材質(zhì)屬性，并且該方法需要巨大的運(yùn)算量。與該方法對(duì)應(yīng)的是基于圖像的渲染方法(IBR)，該方法能夠讓本發(fā)明獲取真實(shí)感的渲染結(jié)果并且能夠在裝備有圖形計(jì)算設(shè)備的PC端達(dá)到60fps，但是移植到該算法到當(dāng)前的智能設(shè)備(比如Google Pixel)在使用100％的GPU運(yùn)算資源時(shí)只能達(dá)到最多16fps的速度。

Chen的工作(Anpei Chen,Minye Wu,Yingliang Zhang,Nianyi Li,Jie Lu,Shenghua Gao,and Jingyi Yu.2018.Deep Surface Light Fields.Proc.ACMComput.Graph.Interact.Tech.1,1,Article 14(July 2018),17pages.)把當(dāng)前蓬勃發(fā)展的深度學(xué)習(xí)技術(shù)結(jié)合到基于圖像的渲染方法(IBR)，根據(jù)三維點(diǎn)在不同角度的的稀疏采樣恢復(fù)出該三維點(diǎn)在所有可見方向上的值，從而恢復(fù)出被渲染物體在任意角度的表象。但是該技術(shù)沒有假設(shè)環(huán)境光是已知，于是把高光當(dāng)成一個(gè)整體去用深度網(wǎng)絡(luò)去擬合，雖然可以取得視覺上不錯(cuò)的效果，但是實(shí)際上擬合的結(jié)果和真實(shí)值還是有點(diǎn)差距的。另外該工作里面使用的深度網(wǎng)絡(luò)結(jié)構(gòu)比較冗余，導(dǎo)致了一些不太必要的計(jì)算，這也使得該方法在配有1080TiGPU的PC端渲染1024*1024的畫面也只能達(dá)到35fps，更不要說在移動(dòng)端。在Chen的基礎(chǔ)上，本發(fā)明進(jìn)行了創(chuàng)新和改進(jìn)，首先假設(shè)環(huán)境光已知，這個(gè)可以通過提前拍攝環(huán)境的環(huán)境貼圖實(shí)現(xiàn)，然后就可以用深度網(wǎng)絡(luò)去擬合渲染方程的某一小部分(James TKajiya.1986.The rendering equation.In ACM Siggraph Computer Graphics，Vol.20.ACM，143-150)，達(dá)到和真實(shí)值更加貼近的擬合值，以解決chen的第一個(gè)問題，并且后期可以做到換環(huán)境光達(dá)到relight的效果。另外，為了能夠在讓算法在移動(dòng)端能夠運(yùn)行，本發(fā)明使用了一個(gè)全新的網(wǎng)絡(luò)結(jié)構(gòu)，除去了chen的網(wǎng)絡(luò)結(jié)構(gòu)的冗余，實(shí)現(xiàn)了在移動(dòng)端渲染1024*1024畫面達(dá)到實(shí)時(shí)的速度。

因此，本領(lǐng)域的技術(shù)人員致力于開發(fā)一種基于深度學(xué)習(xí)的移動(dòng)端表面光場(chǎng)渲染方法，該方法能夠復(fù)現(xiàn)真實(shí)目標(biāo)物體的表面光場(chǎng)并且能夠在移動(dòng)端設(shè)備上實(shí)時(shí)渲染出來。

發(fā)明內(nèi)容

有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問題是克服現(xiàn)有技術(shù)中物體表面渲染方法運(yùn)算量大等問題，提供一種借助深度網(wǎng)絡(luò)的重現(xiàn)物體表象(appearance)的新方法。