[發(fā)明專利]一種基于光場渲染的視頻編解碼方法

在審

• 申請?zhí)枺?/td>: 201210512295.1
• 申請日: 2012-12-04
• 公開（公告）號: CN103856777A
• 公開（公告）日: 2014-06-11
• 發(fā)明（設計）人: 劉海亮;楊艾琳;羅笑南;蘇航;陳湘萍;王炫盛
• 申請（專利權(quán)）人: 中山大學深圳研究院
• 主分類號: H04N19/30
• 分類號: H04N19/30;H04N19/597
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉視頻編解碼技術(shù)領(lǐng)域，尤其涉及一種基于光場渲染的視頻編解碼方法。

背景技術(shù)

傳統(tǒng)的視頻技術(shù)都是由一個攝像機拍攝的，稱為單通道視頻，觀看者只能獲得方向的觀看角度，并且無法獲得立體效果。隨著生活水平的提高，人們越來越不滿足現(xiàn)有的平面視頻。由于當前的成像系統(tǒng)只能提供“單眼看世界”的效果，無法提供身其境的真實感受，需要一種全新的描述三維場景的方法來代替?zhèn)鹘y(tǒng)的二維視頻HDTv技術(shù)通過增加視頻信號的分辨率和屏幕的尺寸等來供更加逼真的模擬現(xiàn)實效果，但其仍然沒有擺脫二維平面視頻的束縛。

在二維視頻中，主要通過各種三維因素，如透視、遮擋、陰影等，給人以三維深感的暗示，但是，這并不是真正的三維立體視頻。人們在觀看現(xiàn)實世界的時候，不僅夠看到物體的寬度和高度，而且能夠通過雙目視差感受出物體的深度信息，立體視頻是利用了人眼的雙目視差原理，通過使用兩個攝像機同時采集某一個場景的視頻信再通過一定的方法將兩路視頻信號分別傳送到人的左右兩眼，使得左眼看到的是偏左圖像，右眼看到的是偏右的圖像，形成雙目視差，最后通過人的大腦合成來模擬真場景，達到立體視頻的效果。而多視點視頻通過放置一組攝像機，使得用戶觀看時以選擇相鄰的某對攝像機采集到的視頻，達到交互的性能。

然而，立體視頻的實用化還存在很多問題，其中重要的一個就是如何進行有效地解碼，由于立體視頻采用多個攝像機同時采集并傳輸，數(shù)據(jù)量遠大于二維視頻，同加上人們對視頻的清晰度要求的提高，進一步導致數(shù)據(jù)量的加大。如何有效地利用視內(nèi)和相鄰視點間的數(shù)據(jù)冗余進行立體視頻的壓縮成為了學術(shù)界研究的熱點。

傳統(tǒng)的解決方法是采用圖像渲染的光場技術(shù)，光場技術(shù)雖然避開了復雜的建模過程，但由于沒有3D網(wǎng)格模型的信息載體，需要大量的采樣場景圖像，以獲得足夠的信息恢復場景，因此會產(chǎn)生大量的采樣數(shù)據(jù)，不利于視頻的存儲和傳輸。基于3D網(wǎng)格模型繪制方法的優(yōu)點在于其場景模型的信息完全由3D網(wǎng)格模型描述，不需要對場景大量采樣，即可恢復場景。因此，在基于圖像繪制方法中引入部分幾何信息，由3D網(wǎng)格模型承擔部分信息的載體，可以減少對場景的大量采樣，有效地減少數(shù)據(jù)量，然而，傳統(tǒng)的方法一方面渲染效果不是很好，而且數(shù)據(jù)量大，不利于傳輸；另一方面，為了渲染出接近真實的場景，光場采集必須足夠密，否則就會出現(xiàn)偏差，因此需要耗費大量的存儲空間存儲源信息。

因此，有必要提供一種基于光場渲染的視頻編解碼方法來解決現(xiàn)有技術(shù)的缺陷。

發(fā)明內(nèi)容

本發(fā)明的目的在于滿足現(xiàn)有技術(shù)的需求，提供一種能夠使圖像細節(jié)更清晰自然，渲染效果好，數(shù)據(jù)量大的基于光場渲染的視頻編解碼方法。

為了解決上述問題，本發(fā)明提出了一種基于光場渲染的視頻編解碼方法，包括以下步驟，步驟1：用TransCAIP方法計算新視點的起始幀；步驟2：結(jié)合高斯混合背景建模和場景幾何計算，將場景分為背景區(qū)域和前景區(qū)域；步驟3：用高斯混合模型計算出視點1的當前幀的前景區(qū)域，利用場景幾何關(guān)系將該區(qū)域變換成新視點當前幀的前景，并且利用高斯混合模型提取出新視點前一幀的前景區(qū)域，用新視點當前幀的前景區(qū)域更新新視點前一幀的前景區(qū)域，得到新視點的當前幀；步驟4：連續(xù)計算K-1次，在循環(huán)中統(tǒng)計前景區(qū)域點所在的層次分布；步驟5：若當循環(huán)的幀數(shù)超過K時，則根據(jù)統(tǒng)計的前景點分布自適應地劃分場景層次；返回步驟1重復循環(huán)。

較佳地，所述步驟1中的TransCAIP方法具體為，將拍攝的場景沿z軸劃分為N層，計算經(jīng)過新視點的每一條目標光線與各層的交點，以及所述交點在4幅視圖中對應點的顏色一致性，顏色一致性最小的層為交點所處的層，即交點的深度。

較佳地，所述步驟5中自適應地劃分場景層次包括以下步驟：步驟51：根據(jù)給定的最遠層z?max、最近層z?min和層數(shù)N，將場景分成N+1個間隔均勻的空間區(qū)間[Z?min，Z?1]，[Z?2，Z?3]，...，[Z?N，Z?max]；步驟52：對本次循環(huán)中的每一幀統(tǒng)計落在各個空間區(qū)間的前景點的數(shù)目，在循環(huán)結(jié)束時得到前景點數(shù)最多的空間區(qū)間，假設為[z[j]，z[j+1]]；步驟53：在下一輪循環(huán)中，場景的層次包括2部分：第一部分為上述方法劃分出的層次；第二部分為在上輪循環(huán)中統(tǒng)計出的前景點最密集的空間區(qū)間[zj，zj+1]，此區(qū)間均勻地劃分新的層次Z[1]，...，Z[m]，其中Z[i]-Z[i-1]＝C(常數(shù))。