[發(fā)明專利]用于在渲染圖像中使用的可重新照明紋理

在審

• 申請?zhí)枺?/td>: 202010877288.6
• 申請日: 2015-08-07
• 公開（公告）號: CN112017272A
• 公開（公告）日: 2020-12-01
• 發(fā)明（設(shè)計(jì)）人: J·伊姆伯;A·希爾頓;J-Y·吉耶莫特
• 申請（專利權(quán)）人: 想象技術(shù)有限公司
• 主分類號: G06T15/50
• 分類號: G06T15/50
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 姚杰

本公開的實(shí)施例涉及用于在渲染圖像中使用的可重新照明紋理。可重新照明的自由視點(diǎn)渲染允許基于來自多個照相機(jī)視點(diǎn)的場景的多視圖的場景的新視圖被渲染和重新照明。可將來自多個照相機(jī)視點(diǎn)的圖像值分離成漫射圖像分量和鏡面反射圖像分量，使得通過使用分離的漫反射圖像分量可以確定鏡面反射場景的可重新照明紋理的本征顏色分量。而且，通過基于初始表面法線場的保守分量構(gòu)建高度映射，然后基于所構(gòu)建的高度映射確定細(xì)化的表面法線，可以對場景中幾何的表面法線進(jìn)行細(xì)化。

本申請是申請?zhí)枮?01510484716.8、申請日為2015年8月7日、發(fā)明名稱為“用于在渲染圖像中使用的可重新照明紋理”的發(fā)明專利申請的分案申請。

技術(shù)領(lǐng)域

本公開涉及用于在渲染圖像中使用的可重新照明紋理。

背景技術(shù)

可以從照相機(jī)的視點(diǎn)捕捉場景的圖像。在一些情況下，可以有捕捉場景的不同圖像的一個以上的照相機(jī)。場景的每一個圖像表示來自相應(yīng)的照相機(jī)的視點(diǎn)的場景的視圖。但是，將存在場景的一些視點(diǎn)會不對應(yīng)照相機(jī)視點(diǎn)的任何一個。圖像可以是一幀視頻序列。諸如自由視點(diǎn)視頻渲染(FVVR)的技術(shù)允許基于來自多個照相機(jī)視點(diǎn)的場景的一組多個視圖生成表示場景的新視圖的圖像。優(yōu)選校準(zhǔn)照相機(jī)且彼此同步以促進(jìn)推斷場景的中間圖像。

基于場景的不同圖像，例如使用多視圖立體(MVS)可構(gòu)建場景幾何的模型，并且可形成可以應(yīng)用于該模型的紋理(texture)。該紋理可以通過投射地使具有原始圖像的場景幾何紋理化并混合所投射的圖像而形成。然后具有該紋理的模型可用于從可以與照相機(jī)視點(diǎn)之一相同或不同的渲染視點(diǎn)來渲染場景。除從渲染視點(diǎn)重新構(gòu)建“真實(shí)世界”場景外，真實(shí)世界場景的內(nèi)容可以與電腦生成的或真實(shí)世界的其它場景內(nèi)容一起被渲染。

術(shù)語“幾何”用于本領(lǐng)域中，且在本文中指場景中計(jì)算機(jī)生成的對象表面的表示，從而該幾何允許對場景中對象的形狀、大小和位置建模。該幾何可被紋理化，從而將紋理(例如限定顏色和其它表面細(xì)節(jié))應(yīng)用于幾何以便表示場景中對象的外觀。從真實(shí)場景的多個圖像重建的幾何在本文中可被稱為“代理(proxy)”或“幾何代理(geometric proxy)”。幾何通常是三角形網(wǎng)格，盡管其它的表示(諸如點(diǎn)云)是可能的。

當(dāng)生成新的場景視點(diǎn)時(shí)，特別是當(dāng)將內(nèi)容集成到與所捕捉的那些不同的周圍環(huán)境中時(shí)，可能需要考慮若干事宜。例如，對場景重新照明可能是困難的。從由照相機(jī)捕捉的圖像提取的紋理(例如視頻序列幀)具有隱含的真實(shí)世界照明信息，使得照明偽影(artefacts)存在(即“烤入(baked-in)”)于紋理中。

解決如何對新視點(diǎn)的紋理重新照明的問題的一種方法是當(dāng)照相機(jī)捕捉場景的不同視圖時(shí)控制場景的照明。例如，漫射(diffuse)照明可用于最初的視頻捕捉，以避免產(chǎn)生過量的陰影區(qū)域和鏡面反射(specularities)，它們會損害使用所提取的紋理渲染的場景的似真性(plausibility)。照明中變化的影響可通過估計(jì)紋理的材料屬性(例如本征顏色(反照率(albedo))和精細(xì)細(xì)節(jié)(表面法線))來重現(xiàn)，以用于隨后使用常規(guī)的計(jì)算機(jī)圖形技術(shù)來重新照明(relighting)。這可以使用主動照明(或“光級(light-stage)”)布置來解決，其中在各種校準(zhǔn)的照明條件下捕捉場景的圖像，同時(shí)使紋理的材料屬性(諸如本征顏色，或“反照率”，和表面的精細(xì)細(xì)節(jié))被適配到圖像。然而，該方法需要昂貴的設(shè)備，并且通常限于靜態(tài)場景。用任意的照明布置對場景重新照明是相當(dāng)?shù)馗犹魬?zhàn)的。

發(fā)明內(nèi)容

提供本發(fā)明內(nèi)容從而以簡化形式介紹在下文的具體實(shí)施方式中進(jìn)一步描述的構(gòu)思的選擇。本發(fā)明內(nèi)容不意圖識別所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不意圖用于限制所要求保護(hù)的主題的范圍。