[發明專利]三維視頻序列輔助信息的解碼方法、編碼方法及裝置

在審

• 申請號: 201910306598.X
• 申請日: 2012-11-02
• 公開（公告）號: CN111182311A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 趙寅;虞露;洪英杰;李明
• 申請（專利權）人: 浙江大學;中興通訊股份有限公司
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N19/70;H04N19/46;H04N19/184;H04N13/172;H04N21/235;H04N21/81
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 江舟

本發明公開了一種三維視頻序列輔助信息的解碼方法、編碼方法及裝置，其中，該方法包括：從三維視頻序列碼流中獲取用于構建立體視頻對的輔助信息，其中，上述輔助信息用于指示由重建的三維視頻序列構建上述立體視頻對，其中，上述重建的三維視頻序列是對上述三維視頻序列碼流進行解碼后得到的結果。本發明解決了現有技術中未在三維視頻序列碼流中攜帶輔助信息而導致構建的立體視頻對的顯示效果較差的技術問題，達到了提高構建的立體視頻的顯示效果的技術效果。

技術領域

本發明涉及通信領域，具體而言，涉及一種三維視頻序列輔助信息的解碼方法、編碼方法及裝置。

背景技術

三維視頻(3D video)序列包括多路(通常為2路)視頻序列(對應于紋理信息)和對應的深度(depth)序列(對應于深度信息)，通常也被稱為MVD(Multi-View Video PlusDepth)格式。三維視頻通過視點合成(view synthesis)技術產生虛擬視點視頻序列。傳統的雙目立體視頻(Stereoscopic Video)僅由兩個固定視點(即左視點和右視點)的視頻序列構成，也稱為一個立體視頻對(Sereos pair)。由雙目攝像機獲得的立體視頻對可能存在兩視圖像視差過大的問題。觀看這樣的立體視頻對會引起較嚴重的視覺疲勞，或者說這樣的立體視頻對并不適合于雙目立體觀看(Stereoscopic Viewing)。引入虛擬視點視頻序列后，可以利用立體視頻對中的一個視頻序列和一個合成的虛擬視點視頻序列構成一個更適合雙目立體觀看的立體視頻對，這里稱其為立體視頻對。

虛擬視點視頻序列通過視點合成(View Synthesis)技術產生，所謂的視點合成主要采用的是深度和圖像渲染(Depth-Image-Based Rendering，簡稱DIBR)技術，即，將一個攝像機視點(Camera View)圖像的像素通過其對應的深度值和相應的攝像機參數，投影到另一虛擬視點(Virtual View)上，從而生成投影圖像；然后，再通過空洞填充(HoleFilling)、濾波(filtering)、變采樣(resampling)等處理產生最終用于顯示的虛擬視點視頻序列。視點合成中投影可采用整像素精度，即投影圖像和攝像機視點圖像的分辨率相同，也可以采用1/N(N為正整數)亞像素精度，即投影圖像水平方向的分辨率為攝像機視點圖像的N倍，其中，N通常為2的倍數。一般來說，采用亞像素投影精度比采用整像素投影精度可以獲得更高質量的虛擬視點視頻序列，但計算復雜度也更高。

三維視頻序列包含若干個訪問單元(access unit)，一個訪問單元包括多個(兩個或多于兩個)視點的某一時刻的圖像(對應于紋理信息)及其對應的深度(對應于深度信息)。編碼三維視頻序列形成三維視頻碼流(bitstream)，所謂的碼流是由多個二進制比特組成的。編碼方法可以為基于MPEG-2、H.264/AVC、HEVC、AVS、VC-1等視頻編碼標準的編碼方法。需要說明的是，視頻編碼標準規定了碼流的語法(syntax)和對符合編碼標準的碼流的解碼方法，并不規定產生碼流的編碼方法，但是采用的編碼方法必須和標準規定的解碼方法相匹配，形成符合編碼標準的碼流，這樣解碼器才可以完成對這些碼流的解碼，否則解碼過程可能會出錯。解碼得到的圖像稱為解碼(decoded)圖像或者重建(reconstructed)圖像。