[發(fā)明專利]自由視點四維空間視頻編碼系統(tǒng)的編碼方法

無效

• 申請?zhí)枺?/td>: 201210180940.4
• 申請日: 2012-06-04
• 公開（公告）號: CN102685532A
• 公開（公告）日: 2012-09-19
• 發(fā)明（設計）人: 周莉;王少偉;孫濤;康曉
• 申請（專利權）人: 山東大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N7/26;H04N7/50
• 代理公司: 濟南金迪知識產(chǎn)權代理有限公司 37219
• 代理人: 王緒銀

技術領域

本發(fā)明涉及一種自由視點四維空間視頻編碼系統(tǒng)的編碼方法，屬于視頻壓縮編碼技術領域。

背景技術

隨著信息技術的快速發(fā)展，各種形式的立體視頻處理及應用已經(jīng)涌入人們的生活，如全景環(huán)幕電影，平面立體電視與電影、立體醫(yī)學圖像成像與傳輸、機器人控制立體成像、虛擬現(xiàn)實系統(tǒng)等。與此同時，立體視頻處理算法及系統(tǒng)研究近年來已經(jīng)成為國際上發(fā)展最快的研究熱點之一。

目前，國內(nèi)外對自由視點立體視頻的研究從空間構成上不外乎兩種形式：柱面/球面二維視頻與平面立體視頻。平面立體視頻是指具有深度信息的平面三維視頻序列，由具有一定視差的多個視頻序列組成，表示為（x,y,v）。其利用多個視頻序列的運動、視差及深度預測和增強算法，在平面視角范圍內(nèi)進行立體視頻處理。而柱面/球面二維視頻則是以平面視頻處理為基礎，進行柱面/球面的二維視頻處理從而達到全景立體效果。其中，柱面二維視頻是平面二維視頻序列在柱面弧度維空間擴展后得到的360度全景視頻，表示為（x,y,α）。

平面立體視頻是基于平面的具有深度信息的空間三維結(jié)構視頻，柱面二維視頻是基于柱面的具有弧度信息的空間三維結(jié)構視頻。兩者雖然都能夠?qū)崿F(xiàn)一定程度的自由視點立體視頻顯示，但是都有不足。平面立體視頻不具有弧度信息，無法顯示360度全方位立體視頻，而柱面二維視頻不具有深度信息，無法顯示基于柱面的三維視頻。因此就有了自由視點四維空間視頻概念。自由視點四維空間視頻將柱面空間的二維視頻與平面空間的三維視頻結(jié)合起來，共同組成具有空間四維結(jié)構的自由視點四維空間視頻系統(tǒng)。該系統(tǒng)在空間范圍內(nèi)具有四維數(shù)據(jù)結(jié)構，表示為平面坐標（x,y）、深度信息維v及弧度信息維α的四維空間結(jié)構（x,y,v,α）。弧度維對平面立體視頻進行柱面擴展，深度維對柱面二維視頻進行深度擴展，在空間上構成了既具有深度信息，又具有弧度信息的視頻序列。其同時繼承了柱面空間的全方位特性及平面視角的三維視覺特性，能夠在柱面空間進行立體視頻顯示，彌補了平面立體和柱面二維視頻的空間缺陷，從真正意義上重現(xiàn)和展示真實世界中360度全方位立體場景。

自由視點四維空間中的視頻圖像幀分為兩類：自由視點弧度立體視頻序列及自由視點視頻序列組中的具有一定弧度距離的對應視頻圖像幀分別進行拼接而成的自由視點360度柱面全景視頻序列。自由視點弧度立體視頻序列編碼基于現(xiàn)有視頻處理標準，進行自由視點的弧度視差估計與弧度深度圖像估計，對運動矢量、視差矢量進行旋轉(zhuǎn)和變焦糾正，即針對像素點間的弧度值計算得到弧度運動矢量與弧度視差矢量。

在平面立體視頻中，視差與物點深度值之間有公式（1）的計算關系。

v=lpp-e---(1)]]>

其中l(wèi)為雙眼到顯示屏的距離為，e為兩眼間距，p為兩像素點之間水平視差，物點距顯示屏的深度感知系數(shù)為v。加入弧度維后，視差矢量p也相應具有了弧度值，稱為三維視差矢量，表示為p（x,y,α）。在不同視點的視頻幀間進行基于宏塊的視差估計，在搜索目標范圍內(nèi)計算得到平面視差矢量值，然后再根據(jù)矢量弧度值α及平面運動/視差矢量與柱面運動/視差矢量之間的關系進行相應的弧度調(diào)整，從而得到四維空間內(nèi)視頻序列的三維視差矢量。

由于自由視點四維空間視頻處理技術及編碼壓縮算法是對現(xiàn)有平面立體及柱面二維視頻處理技術的擴展，旨在實現(xiàn)柱面360度全景環(huán)境中任意角度的立體視頻的實時處理，這是目前平面立體視頻及柱面二維視頻系統(tǒng)所無法媲美的較新的技術領域。目前，國際國內(nèi)最新研究文獻還未見有針對具有四維空間結(jié)構的柱面全景立體視頻編碼壓縮系統(tǒng)提出相應的理論及結(jié)構。

發(fā)明內(nèi)容

針對現(xiàn)有技術的不足，本發(fā)明提供一種自由視點四維空間視頻編碼系統(tǒng)的編碼方法。