[發(fā)明專利]基于深度和遮擋信息的虛擬視點(diǎn)合成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 200810062811.9
• 申請(qǐng)日: 2008-07-03
• 公開（公告）號(hào): CN101312540A
• 公開（公告）日: 2008-11-26
• 發(fā)明（設(shè)計(jì)）人: 馮雅美;李東曉;張明;石冰;駱凱;謝賢海;何賽軍
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): H04N13/00
• 分類號(hào): H04N13/00;H04N7/26;G06T7/00
• 代理公司: 杭州求是專利事務(wù)所有限公司
• 代理人: 張法高

1.一種基于深度和遮擋信息的虛擬視點(diǎn)合成方法，其特征在于包括以下步驟：

1)在平行光軸相機(jī)陣列模型下，確定基于深度圖像的繪制方法的3D繪制方程；

2)根據(jù)參考視點(diǎn)與虛擬視點(diǎn)的空間位置，制定像素繪制順序；

3)按照制定的繪制順序，利用基于深度圖像的水平半像素繪制方法，參考主視點(diǎn)，繪制得到虛擬視點(diǎn)的圖像；

4)根據(jù)輔視點(diǎn)的遮擋信息，利用基于深度圖像的水平半像素繪制方法，對(duì)虛擬視點(diǎn)圖像進(jìn)行遮擋補(bǔ)償，得到高分辨率的虛擬視點(diǎn)圖像，輔視點(diǎn)的遮擋信息包括根據(jù)參考視點(diǎn)預(yù)測(cè)輔視點(diǎn)得到的空洞的像素值及其對(duì)應(yīng)的深度值；

5)對(duì)高分辨率的虛擬視點(diǎn)圖像進(jìn)行變換，得到原始分辨率的虛擬視點(diǎn)圖像；

6)利用非對(duì)稱的線性插值方法進(jìn)行殘余的空洞補(bǔ)償；

7)進(jìn)行塊效應(yīng)平滑，得到高質(zhì)量的虛擬視點(diǎn)合成圖像；

所述的根據(jù)參考視點(diǎn)與虛擬視點(diǎn)的空間位置，制定像素繪制順序步驟包括：

a)在平行光軸相機(jī)陣列模型下，當(dāng)重疊發(fā)生時(shí)，根據(jù)像素在參考視點(diǎn)的位置來(lái)判斷它們?cè)谔摂M視點(diǎn)的遮擋關(guān)系；

虛擬視點(diǎn)在被繪制之前，所有像素值都為零；在參考視點(diǎn)x₁位置的像素，經(jīng)過(guò)繪制后在虛擬視點(diǎn)的x₂位置，若此時(shí)x₂位置的像素值不為零，則重疊發(fā)生，根據(jù)給定的平行相機(jī)模型，根據(jù)

x2=x1-fcz]]>

f為相機(jī)焦距，c為虛擬視點(diǎn)相對(duì)于參考視點(diǎn)的水平位移，z為景深，規(guī)定物體a遮擋物體b應(yīng)滿足：

b)根據(jù)a)中得到的物體遮擋應(yīng)滿足的關(guān)系，結(jié)合參考視點(diǎn)與虛擬視點(diǎn)的空間位置，制定一種在給定相機(jī)模型下進(jìn)行圖像繪制時(shí)可以基本解決重疊問(wèn)題的圖像繪制順序，若虛擬視點(diǎn)在參考視點(diǎn)右側(cè)，則對(duì)于參考視點(diǎn)中的像素，按照逐行從左至右的參考順序進(jìn)行繪制；若虛擬視點(diǎn)在參考視點(diǎn)左側(cè)，則對(duì)于參考視點(diǎn)中的像素，按照逐行從右至左的參考順序進(jìn)行繪制；

所述的按照制定的繪制順序，利用基于深度圖像的水平半像素繪制方法，參考主視點(diǎn)，繪制得到虛擬視點(diǎn)的圖像步驟包括：

c)提高基于深度圖像的繪制方法的匹配精度，得到一種基于深度圖像的水平半像素繪制方法：

①按照第一步得到的深度圖像繪制方程，計(jì)算物體在虛擬視點(diǎn)的精確坐標(biāo)(x，y)；

②把H*V分辨率的虛擬視點(diǎn)圖像坐標(biāo)轉(zhuǎn)化為2H*V分辨率的圖像坐標(biāo)，水平坐標(biāo)x的取值范圍從[0，H]擴(kuò)展為[0，2H]；

③對(duì)坐標(biāo)(x，y)進(jìn)行水平半像素修正，轉(zhuǎn)變?yōu)?x₂，y)，其中x₂＝2x，再對(duì)x₂進(jìn)行就近取整；

d)利用基于深度圖像的水平半像素繪制方法，按照制定的繪制順序，參考主視點(diǎn)，繪制得到虛擬視點(diǎn)的圖像：

④按照制定的繪制順序，對(duì)于主視點(diǎn)的任一像素(x₁，y)，利用基于深度圖像的水平半像素繪制方法，計(jì)算其在虛擬視點(diǎn)中的坐標(biāo)(x₂，y)，若沒(méi)有檢測(cè)到重疊，則將虛擬視點(diǎn)中坐標(biāo)為(x₂，y)的像素值與主視點(diǎn)中坐標(biāo)為(x₁，y)的像素值一致；

⑤若檢測(cè)到重疊，當(dāng)虛擬視點(diǎn)在主視點(diǎn)右側(cè)時(shí)，直接覆蓋坐標(biāo)(x₂，y)的像素值，當(dāng)虛擬視點(diǎn)在參考視點(diǎn)左側(cè)時(shí)，保留坐標(biāo)(x₂，y)原來(lái)的像素值；

⑥重復(fù)步驟④⑤，直至主視點(diǎn)圖像中所有像素遍歷完成，最后生成高分辨率的虛擬視點(diǎn)的圖像。