[發(fā)明專利]基于深度圖前向映射的圖像渲染方法和圖像渲染裝置

有效

• 申請?zhí)枺?/td>: 201210263020.9
• 申請日: 2012-07-26
• 公開（公告）號: CN102831602A
• 公開（公告）日: 2012-12-19
• 發(fā)明（設(shè)計(jì)）人: 戴瓊海;譚漢青;徐秀兵
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張大威

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種基于深度圖前向映射的圖像渲染方法和圖像渲染裝置。

背景技術(shù)

近年來，隨著顯示視覺技術(shù)的飛速發(fā)展，各種新型的立體顯示技術(shù)紛紛出現(xiàn)，如偏振光立體顯示技術(shù)、裸眼多視點(diǎn)立體顯示技術(shù)、被動同步的立體顯示技術(shù)等，在全球范圍內(nèi)掀起一場立體技術(shù)的視覺革命。立體顯示技術(shù)以其強(qiáng)烈的立體感知真實(shí)感，給人以身臨其境的震撼感覺。立體顯示技術(shù)在自由視點(diǎn)視頻(Free?Viewpoint?Video)、虛擬現(xiàn)實(shí)、立體電視、立體游戲等諸多領(lǐng)域有著廣泛的應(yīng)用前景。

然而，在立體顯示技術(shù)快速發(fā)展的同時，由于多視點(diǎn)視頻、圖像資源獲取成本高，適合立體顯示設(shè)備使用的片源稀缺，無法滿足觀眾日益增長的觀賞需求。此外，二維片源的拍攝、編碼、傳輸?shù)燃夹g(shù)已經(jīng)十分成熟，而且形成了龐大的產(chǎn)業(yè)鏈，要進(jìn)行三維立體視頻產(chǎn)業(yè)鏈的替換需要付出巨大的代價。而現(xiàn)有的大部分二維片源是由單個攝像機(jī)拍攝形成的，因此，如何將二維片源轉(zhuǎn)化為立體片源，是一個極具現(xiàn)實(shí)意義的問題。

現(xiàn)有的的2D轉(zhuǎn)3D技術(shù)通常是通過對深度圖像（Depth?Image）進(jìn)行提取，并對深度圖像進(jìn)行濾波，然后根據(jù)深度圖對虛擬視圖進(jìn)行渲染。但由于前景遮擋背景等原因，現(xiàn)有技術(shù)的渲染結(jié)果中普遍出現(xiàn)空洞和失真問題，較大的空洞造成圖像信息的丟失，失真更是極大地降低圖像的質(zhì)量。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決上述技術(shù)問題之一或至少提供一種有用的商業(yè)選擇。為此，本發(fā)明的一個目的在于提出一種具有渲染效果好、渲染速度高的基于深度圖前向映射的圖像渲染方法。本發(fā)明的另一個目的在于提出一種具有渲染效果好、渲染速度高的基于深度圖前向映射的圖像渲染裝置。

根據(jù)本發(fā)明實(shí)施例的基于深度圖前向映射的圖像渲染方法，包括：A.輸入?yún)⒖家晥D和對應(yīng)的深度圖；B.根據(jù)所述參考視圖和所述深度圖，獲取映射坐標(biāo)集；C.對所述映射坐標(biāo)集進(jìn)行平滑濾波，得到濾波后的映射坐標(biāo)集；D.根據(jù)所述濾波后的映射坐標(biāo)集，對所述參考視圖進(jìn)行前向映射，生成對應(yīng)的虛擬視圖；E.對所述虛擬視圖進(jìn)行空洞填充，得到填充后虛擬視圖；以及F.對所述填充后虛擬視圖進(jìn)行邊緣修整，得到最終虛擬視圖。

在本發(fā)明的方法的一個實(shí)施例中，所述步驟B進(jìn)一步包括：B1.根據(jù)所述參考視圖和所述深度圖，通過下列公式計(jì)算各個像素對應(yīng)的映射坐標(biāo)，獲得映射坐標(biāo)集：

x′=x+index*a*(dref(x,y)-d0)y′=y,]]>其中(x,y)表示所述參考視圖中像素的參考坐標(biāo)，(x′,y′)表示所述(x,y)移位后在所述虛擬視圖中的映射坐標(biāo)，index表示所述虛擬視圖的序號，index=0表示所述參考視圖，a表示比例因子，d_ref(x，y)表示所述參考視圖中像素(x,y)的深度值；d₀表示所述虛擬視圖對應(yīng)的虛擬攝像機(jī)的光心到零視差平面之間的距離；B2.對所述映射坐標(biāo)集進(jìn)行邊界約束處理，以避免渲染結(jié)果超出所述虛擬視圖邊界范圍；和B3.對所述映射坐標(biāo)集進(jìn)行順序約束處理，以避免違背順序約束原則導(dǎo)致渲染結(jié)果失真。