[發(fā)明專利]一種虛擬視點(diǎn)中像素點(diǎn)的獲取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410596909.8
• 申請(qǐng)日: 2014-10-30
• 公開（公告）號(hào): CN104378617A
• 公開（公告）日: 2015-02-25
• 發(fā)明（設(shè)計(jì)）人: 彭宗舉;鄭迪;陳芬;蔣剛毅;郁梅
• 申請(qǐng)（專利權(quán)）人: 寧波大學(xué)
• 主分類號(hào): H04N13/00
• 分類號(hào): H04N13/00;H04N15/00
• 代理公司: 寧波奧圣專利代理事務(wù)所(普通合伙) 33226
• 代理人: 周玨

技術(shù)領(lǐng)域

本發(fā)明涉及一種虛擬視點(diǎn)繪制方法，尤其是涉及一種虛擬視點(diǎn)中像素點(diǎn)的獲取方法。

背景技術(shù)

隨著數(shù)字視頻技術(shù)的快速發(fā)展，二維視頻以平面圖像來描述真實(shí)的三維場(chǎng)景，已無法滿足用戶對(duì)真實(shí)感和立體感的需求。與傳統(tǒng)的二維視頻相比，自由視點(diǎn)視頻(FVV，F(xiàn)ree?Viewpoint?Video)系統(tǒng)能使用戶自由地選擇觀看角度，并且自由視點(diǎn)視頻帶來強(qiáng)烈地視覺沖擊，使觀眾感到景物迎面而來，恍若身臨其境，感受到了真切的深度感和沉浸感，是新一代多媒體視頻系統(tǒng)的發(fā)展方向。在自由視點(diǎn)視頻中，由于受到成本與傳輸帶寬的限制，不可能在每一個(gè)視點(diǎn)上都放置一臺(tái)攝像機(jī)，因此需要使用已有的有限個(gè)視點(diǎn)合成未知的多個(gè)虛擬視點(diǎn)，來達(dá)到自由視點(diǎn)的視覺效果。

多視點(diǎn)彩色加深度視頻(MVD，Multi-view?Video?plus?Depth)是自由視點(diǎn)視頻的一種主流數(shù)據(jù)表示結(jié)構(gòu)，其可用于表達(dá)深度層次豐富的場(chǎng)景，再結(jié)合深度圖繪制技術(shù)(DIBR，Depth?Image?Based?Rendering)能夠繪制出多個(gè)虛擬視點(diǎn)，達(dá)到自由視點(diǎn)的體驗(yàn)效果。深度圖繪制技術(shù)是近幾年來得到廣泛關(guān)注與應(yīng)用的虛擬視點(diǎn)合成技術(shù)，其利用已有視點(diǎn)的彩色視頻與對(duì)應(yīng)的深度視頻提供的空間幾何信息繪制出虛擬視點(diǎn)。利用深度圖繪制技術(shù)繪制虛擬視點(diǎn)的過程中主要使用的技術(shù)有：坐標(biāo)變換(3D?Warping)、空洞填補(bǔ)、圖像融合等技術(shù)。

在虛擬視點(diǎn)繪制過程中，坐標(biāo)變換技術(shù)是一個(gè)非常關(guān)鍵的問題，像素點(diǎn)是通過坐標(biāo)變換技術(shù)獲取的。坐標(biāo)變換技術(shù)根據(jù)真實(shí)相機(jī)拍攝的彩色視頻結(jié)合對(duì)應(yīng)的深度信息，將彩色視頻中的像素點(diǎn)逐個(gè)映射到虛擬視點(diǎn)上，獲得虛擬視點(diǎn)中的像素點(diǎn)。空間坐標(biāo)映射的準(zhǔn)確度會(huì)影響整體的繪制質(zhì)量，虛擬視點(diǎn)繪制過程中的坐標(biāo)變換如果沒有達(dá)到較好的效果，則將會(huì)影響空洞填補(bǔ)等后續(xù)過程，會(huì)增加后續(xù)處理的難度，最終將影響虛擬視點(diǎn)繪制質(zhì)量。

目前，常見的坐標(biāo)變換方法為虛擬視點(diǎn)繪制軟件(VSRS，View?Synthesis?Rendering?Software)中的坐標(biāo)變換方法，其為了提高坐標(biāo)變換的精度，在坐標(biāo)變換時(shí)使每一個(gè)參考視點(diǎn)上的像素點(diǎn)映射到虛擬視點(diǎn)中的兩個(gè)像素點(diǎn)，最終獲得一個(gè)水平圖像寬度兩倍于參考視點(diǎn)的虛擬視點(diǎn)。這種坐標(biāo)變換方法在每次一個(gè)參考像素點(diǎn)映射時(shí)會(huì)得到兩個(gè)映射像素點(diǎn)，當(dāng)相鄰的兩個(gè)參考像素點(diǎn)的深度值信息相同時(shí)，映射得到的四個(gè)映射像素點(diǎn)將是相鄰的，如果相鄰的兩個(gè)參考像素點(diǎn)中的其中一個(gè)參考像素點(diǎn)的深度值發(fā)生了改變，即深度信息不準(zhǔn)確，則在四個(gè)映射像素點(diǎn)之間會(huì)出現(xiàn)一些像素點(diǎn)沒有被映射的像素點(diǎn)的情況，而出現(xiàn)漏映射，從而產(chǎn)生裂紋甚至空洞，雖然在空洞填補(bǔ)過程中會(huì)將坐標(biāo)變換中出現(xiàn)的裂紋和空洞都填補(bǔ)，但是并不能消除這些裂紋對(duì)圖像最終質(zhì)量的影響；此外，對(duì)于這種坐標(biāo)變換方法，漏映射產(chǎn)生的裂紋有可能會(huì)被后續(xù)映射的像素點(diǎn)填充，但如果后續(xù)映射的像素點(diǎn)相對(duì)于需要被映射的像素點(diǎn)是處于背景區(qū)域的，則獲得的虛擬視點(diǎn)會(huì)出現(xiàn)背景區(qū)域暴露到前景區(qū)域的情況。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種虛擬視點(diǎn)中像素點(diǎn)的獲取方法，其在深度視頻估計(jì)不準(zhǔn)確時(shí)仍然能夠獲取高準(zhǔn)確度的像素點(diǎn)，能夠有效地提高虛擬視點(diǎn)繪制的質(zhì)量。

本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：一種虛擬視點(diǎn)中像素點(diǎn)的獲取方法，其特征在于包括以下步驟：

①獲取一個(gè)視點(diǎn)的彩色視頻及對(duì)應(yīng)的深度視頻，并假設(shè)虛擬視點(diǎn)位于彩色視頻與深度視頻所在的視點(diǎn)的右側(cè)；

②以幀為單位，根據(jù)彩色視頻中的每幀彩色圖像中的每個(gè)像素點(diǎn)及深度視頻中的每幀深度圖像中的每個(gè)像素點(diǎn)，獲取虛擬視點(diǎn)中的每幀虛擬圖像中的每個(gè)像素點(diǎn)的像素值和深度值，具體過程為：

②-1、將彩色視頻中當(dāng)前待處理的一幀彩色圖像定義為當(dāng)前彩色圖像，將深度視頻中當(dāng)前待處理的與當(dāng)前彩色圖像對(duì)應(yīng)的一幀深度圖像定義為當(dāng)前深度圖像；

②-2、將當(dāng)前彩色圖像中當(dāng)前待處理的像素點(diǎn)定義為當(dāng)前第一像素點(diǎn)，將當(dāng)前第一像素點(diǎn)的右相鄰像素點(diǎn)定義為當(dāng)前第二像素點(diǎn)；