[發(fā)明專利]一種視頻場景的虛實(shí)光照融合方法

有效

• 申請?zhí)枺?/td>: 201210362556.6
• 申請日: 2012-09-25
• 公開（公告）號: CN102930513A
• 公開（公告）日: 2013-02-13
• 發(fā)明（設(shè)計(jì)）人: 陳小武;趙沁平;楊夢夏;王珂;金鑫
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京遠(yuǎn)大卓悅知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11369
• 代理人: 史霞

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理和增強(qiáng)現(xiàn)實(shí)技術(shù)，具體地說是一種視頻場景的虛實(shí)光照融合方法。

背景技術(shù)

虛擬現(xiàn)實(shí)是近年來不斷發(fā)展的研究領(lǐng)域，通過以計(jì)算機(jī)科學(xué)與技術(shù)為核心的高新科技，生成與真實(shí)環(huán)境在視、聽、觸感等方面高度近似的逼真虛擬環(huán)境，使用戶在虛擬環(huán)境獲得身臨其境的感受和體驗(yàn)。傳統(tǒng)的虛擬現(xiàn)實(shí)技術(shù)主要強(qiáng)調(diào)虛擬場景建模和虛擬場景表現(xiàn)，較少將虛擬環(huán)境直接融入到客觀存在的真實(shí)世界，這在一定程度上影響了虛擬現(xiàn)實(shí)技術(shù)的發(fā)展和應(yīng)用。增強(qiáng)現(xiàn)實(shí)是虛擬現(xiàn)實(shí)的進(jìn)一步拓展，借助必要的硬件和軟件設(shè)備，使計(jì)算機(jī)生成的虛擬景物與客觀存在的真實(shí)環(huán)境共存于同一個(gè)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，從感官和體驗(yàn)效果上給用戶呈現(xiàn)出虛擬景物與真實(shí)環(huán)境融為一體的增強(qiáng)現(xiàn)實(shí)環(huán)境。增強(qiáng)現(xiàn)實(shí)是正在迅速發(fā)展的新研究方向，該方向的關(guān)鍵問題包括虛擬對象與真實(shí)場景的有效融合。

因此，基于視頻的虛實(shí)融合場景，及其光照效果生成技術(shù)不僅成為虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)方向的技術(shù)發(fā)展趨勢，也是圖形學(xué)、計(jì)算機(jī)視覺、視頻處理、模擬仿真等相關(guān)領(lǐng)域方向國際發(fā)展前沿的研究熱點(diǎn)。在虛實(shí)融合場景中，影響虛實(shí)融合逼真效果的重要方面就是虛擬對象光照效果與真實(shí)場景光照信息的逼近程度。為了使計(jì)算機(jī)生成的虛擬對象具有真實(shí)感，達(dá)到與真實(shí)場景有效融合的效果，需要保持虛擬對象與真實(shí)場景間幾何和光照的一致性。其中光照一致性是指，根據(jù)真實(shí)環(huán)境中的光照分布和虛擬對象的表面材質(zhì)，計(jì)算虛擬對象的表面光照效果，以及虛擬對象在真實(shí)場景中生成的虛擬陰影效果。

為了使虛擬對象的光照效果能夠接近真實(shí)場景的光照效果，現(xiàn)有的基于視頻的虛實(shí)融合場景，及其光照效果生成技術(shù)主要通過人工在真實(shí)場景中設(shè)置一些光學(xué)標(biāo)志物來采集真實(shí)場景的光照信息，利用光學(xué)標(biāo)識物采集得到的光照信息，表示真實(shí)場景的光照條件，并且確定虛擬對象的光照參數(shù)，進(jìn)而完成虛擬對象表面光照效果和虛擬陰影效果的計(jì)算。近年來，一些基于場景理解的虛實(shí)融合方法，力求從真實(shí)場景素材本身的幾何特征與光照特征推斷出真實(shí)場景的幾何信息與光照信息，并建立光照模型表示真實(shí)場景的光照條件，從而可以不借助任何光照信息采集設(shè)備，完成虛實(shí)融合場景及其光照效果的生成。但目前，基于場景理解的虛實(shí)融合方法還不能滿足虛實(shí)無縫融合視頻處理的要求。在視頻真實(shí)場景中，場景對象與真實(shí)光照條件隨時(shí)間發(fā)生變化，會影響基于單幀圖像的光照條件估計(jì)，而現(xiàn)有的虛實(shí)融合技術(shù)往往忽略了視頻幀的虛實(shí)融合光照效果差異性，從而導(dǎo)致虛實(shí)融合場景的光照效果抖動現(xiàn)象，大大降低了虛實(shí)融合光照效果的逼真性。

近年來，一些視頻場景的虛實(shí)光照融合方法都力求從場景素材本身推斷出其中蘊(yùn)含的光照信息，并建立光照模型，從而不借助任何光照信息采集設(shè)備，完成虛實(shí)光照融合。2006年，丹麥奧爾堡大學(xué)的Tommy?Jensen等人，提出了一種無標(biāo)識物的增強(qiáng)現(xiàn)實(shí)虛實(shí)光照融合方法，該方法基于戶外場景，利用真實(shí)物體的表面圖像獲取真實(shí)環(huán)境的光照信息，針對虛擬物體與真實(shí)光照條件的不一致現(xiàn)象，給出了虛擬物體表面光照效果的修正方法，能夠使虛擬物體的光照效果接近真實(shí)環(huán)境的光照條件，完成虛實(shí)光照融合。但該方法只能處理單個(gè)真實(shí)場景光源，如太陽，且需要已知場景的粗略三維模型和高動態(tài)范圍環(huán)境圖。

2009年，卡耐基梅隆大學(xué)的Jean-Francois?Lalonde等人，提出了一種基于視頻圖像剪貼庫的虛實(shí)光照融合方法。利用網(wǎng)絡(luò)攝像頭拍攝的延時(shí)視頻序列，構(gòu)建了擁有大量圖像數(shù)據(jù)的“視頻圖像剪貼庫”，針對庫中的每幅圖像進(jìn)行輻射度和幾何上的標(biāo)定，并計(jì)算出視頻序列圖像中每一幀的高動態(tài)范圍環(huán)境圖。基于已知幾何信息及光照信息的“場景圖像剪貼庫”，給定一副已具有光照效果的二維圖像，可以在庫中搜索出與其光照條件最匹配的場景，進(jìn)行場景與對象的融合；還可以用庫中的場景重光照三維圖形，即完成虛實(shí)融合的效果。

2009年，浙江大學(xué)的劉艷麗等人還提出了一種針對靜態(tài)戶外場景的虛實(shí)光照融合方法，該方法的最大優(yōu)勢在于無需預(yù)知場景的幾何、材質(zhì)及紋理信息。對一個(gè)靜態(tài)戶外場景，用固定視角的相機(jī)經(jīng)過長時(shí)間拍攝得到了涵蓋場景不同光照情況的圖像數(shù)據(jù)集。通過學(xué)習(xí)的方法從中得到分別依靠太陽光和天空光產(chǎn)生的陰影效果作為基圖像來反映場景的幾何屬性及材質(zhì)屬性進(jìn)行光照估計(jì)，并完成虛實(shí)光照融合，但是該方法只能處理靜態(tài)固定視角的視頻。