[發明專利]立體視頻對產生方法及裝置

有效

• 申請號: 201210125660.3
• 申請日: 2012-04-25
• 公開（公告）號: CN103379354A
• 公開（公告）日: 2013-10-30
• 發明（設計）人: 趙寅;虞露
• 申請（專利權）人: 浙江大學
• 主分類號: H04N13/02
• 分類號: H04N13/02;H04N13/04
• 代理公司: 杭州宇信知識產權代理事務所(普通合伙) 33231
• 代理人: 張宇娟

技術領域

本發明涉及一種多媒體通信領域，具體涉及一種立體視頻對產生方法及裝置。

背景技術

三維視頻(3D?video)序列包括多路(通常為2路)視頻序列(對應于紋理信息)、對應的深度(depth)序列(對應于深度信息)，通常也被稱為MVD(multi-view?video?plus?depth)格式。三維視頻序列也包含每個視點的攝像機參數等信息。三維視頻通過視點合成(view?synthesis)技術產生虛擬視點視頻序列。傳統的雙目立體視頻(stereoscopic?video)僅由兩個固定視點(即左視點和右視點)的視頻序列構成，也稱為一個立體視頻對(stereos?pair)。由雙目攝像機獲得的立體視頻對可能存在兩視圖像視差過大的問題。觀看這樣的立體視頻對會引起較嚴重的視覺疲勞，或者說這樣的立體視頻對并不適合于雙目立體觀看(stereoscopic?viewing)。引入虛擬視點視頻序列后，可以利用立體視頻對中的一個視頻序列和一個合成的虛擬視點視頻序列構成一個更適合雙目立體觀看的立體視頻對，這里稱其為立體視頻對。

虛擬視點視頻序列通過視點合成(view?synthesis)技術產生。視點合成采用基于深度和圖像渲染(depth-image-based?rendering，簡稱DIBR)技術，將一個攝像機視點(camera?view)圖像的像素通過其對應的深度值和相應的攝像機參數(例如每個視點的焦距、坐標位置等)，投影到另一虛擬視點(virtual?view)上，從而生成投影圖像；再通過空洞填充(hole?filling)、濾波(filtering)、變采樣(resampling)等處理產生最終用于顯示的虛擬視點視頻序列。視點合成還可以基于多個攝像機視點合成一個虛擬視點的圖像，即分別將多個攝像機視點的圖像投影到該虛擬視點，并把投影圖像融合起來，稱為視點融合(view?merging)，再在融合的圖像上進行空洞填充、濾波、變采樣等處理，獲得用于顯示的虛擬視點視頻序列。

一個立體視頻對包括兩個視頻序列，即左視點視頻序列(用于顯示給左眼觀看)和右視點視頻序列(用于顯示給右眼觀看)。為了改善立體視頻對的立體感覺，通常可以采用水平平移(shifting)立體視頻對圖像的方法來調節顯示器上呈現的視差(parallax)范圍。當左視點圖像(即左視點視頻序列的圖你)相對于右視點圖像向右平移時，負視差(negative?parallax)增大，正視差(positive?parallax)減小；當左視圖像相對于右視圖像向左平移時，負視差(negative?parallax)減小，正視差(positive?parallax)增大。以左視點圖像相對于右視點圖像向右平移N個像素為例，通常的方法有，依次將左視點圖像中(從左向右)第i列像素拷貝給第i+N/2列，同時將右視點圖像第i列像素拷貝給第i-N/2列；或者右視點圖像保持不變，左視點圖像的第i列的圖像拷貝給第i+N列。將左視點圖像相對于右視點圖像向左平移N個像素與上述方法類似。

三維視頻的視頻序列和深度序列可以分別由目前的多視點視頻編碼標準(Multi-view?video?coding，簡稱MVC，在H.264/AVC標準Annex?H中描述)來編碼。MVC規定每個視點視頻序列都有各自的視點序號(view?order?index，VOIdx，為非負整數)，用于指示該視點視頻的解碼次序。最小視點序號視頻序列(即VOIdx＝0的視點的視頻序列)最先解碼，次小視點序號視頻序列(即VOIdx＝1的視點的視頻序列)隨后第二個解碼。解碼端對三維視頻序列碼流解碼后可以獲得上述視點序號信息。但MVC并沒有說明各視點間的相對位置關系。立體顯示器由于不知道視點的位置信息，可能錯誤地將一個右視點圖像輸出給左眼觀看，從而產生錯誤的三維感受。這些視點相對位置關系也可以傳輸在碼流里，讓解碼端獲取相應的信息。

另外，立體顯示器(或如機頂盒等輔助設備)可以生成虛擬視點視頻作為顯示的立體視頻對中的一個視頻，從而調節視差感覺，其中立體顯示器也需要知道虛擬視生成涉及的一些重要參數，例如虛擬視點位置等。因此，三維視頻序列碼流中還可能包含一些指導立體顯示器顯示立體視頻對的輔助信息，包括指示左視點圖像的標識、立體視頻對的構成方式、虛擬視點位置、合成精度、平移像素數等。

發明內容

為克服現有技術的上述缺陷，本發明的目的在于由重建的三維視頻序列及相應的顯示輔助信息，為解碼端的雙目立體顯示設備提供一個適合雙目立體觀看的立體視頻對的方法和裝置，從而改善最終三維立體顯示的視覺感受。