[發明專利]一種面向虛擬視圖質量的深度圖編碼率失真判斷方法

有效

• 申請號: 201110140492.0
• 申請日: 2011-05-27
• 公開（公告）號: CN102158710A
• 公開（公告）日: 2011-08-17
• 發明（設計）人: 元輝;劉琚;孫建德
• 申請（專利權）人: 山東大學
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/50;H04N7/64
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 寧欽亮

技術領域

本發明涉及一種提高深度圖編碼效率的率失真判斷準則，屬于三維立體視頻編碼標準中的深度圖編碼技術領域。

背景技術

三維立體視頻作為未來主要的視頻應用技術，是指用戶通過三維立體視頻顯示設備可以享受到真實的三維立體視頻內容。三維視頻的相關技術，比如，三維立體視頻采集、三維立體視頻編碼、三維立體視頻的顯示等技術已經得到廣泛的關注。為了推動三維立體視頻技術的標準化，2002年，運動圖像專家組(Motion?Picture?Experts?Group，MPEG)提出任意視點電視(Free?View?Television，FTV)的概念。它能夠提供生動真實的、交互式的三維立體視聽系統。用戶可以從不同的角度觀看該角度的三維立體視頻，使得用戶有融入視頻場景中的真實感受。FTV可廣泛應用于廣播通信、娛樂、教育、醫療和視頻監控等領域。為了使用戶可以觀看到任意角度的三維立體視頻，FTV系統服務端使用已標定好的攝像機陣列獲得一定視點上的視頻。并對不同視點上的視頻校正，利用校正過的視頻信息通過虛擬視圖合成技術生成虛擬視點的虛擬視圖。目前MPEG建議具體使用基于深度-圖像(Depth-Image?Based?Rendering，DIBR)的虛擬視圖合成技術。深度信息一般通過深度圖表示。虛擬視圖合成的主要過程如下：

1).確定要虛擬視點在攝像機陣列中的相對位置。

2).確定用于合成虛擬視點的紋理視頻。

3).確定步驟2)的紋理視頻對應的深度圖。

4).依據步驟2)與3)中的紋理視頻和深度圖，采用DIBR技術，合成虛擬視圖。

FTV的標準化工作分為兩個階段進行。第一階段是2006年至2008年由JVT(Joint?Video?Team，聯合視頻編碼組)制定的H.264/AVC的擴展方案-MVC(Multi-View?Video?Coding)。MVC可以對多視點紋理視頻進行編碼。但是要最終實現FTV系統的功能，還必須要對深度信息進行編碼。目前FTV的標準化制定工作已經進入第二階段，即3DVC(Three?Dimensional?Video?Coding)。3DVC主要關注深度信息的表示與編碼，以及紋理視頻與深度信息的聯合編碼。3DVC中，深度信息通過深度圖表示。

衡量3DVC性能的主要指標是合成虛擬視圖的質量，以及紋理視頻、深度圖的編碼碼率。虛擬視圖的質量：

通常采用峰值信噪比(Peak?Signal-to-Noise?Ratio，PSNR)來衡量視頻的質量。PSNR的計算公式如下式所示，

PSNR=10×log(2552MSE)]]>

(1)式中MSE表示原始視圖與合成虛擬視圖之間的均方誤差，用來衡量虛擬視圖的失真，以及紋理視頻的編碼失真、深度圖的編碼失真。

在實際應用中，虛擬視點的視圖是不存在的，也即不存在原始視圖。但是由于3DVC主要關注編碼性能，因此為衡量3DVC的性能，首先采用未經編碼的已有紋理視頻及其對應的深度圖合成虛擬視圖V_orig，然后采用經過編碼后的重建的紋理視頻以及編碼后重建的深度圖合成虛擬視圖V_rec，最后通過計算V_rec與V_orig之間的MSE，進而得到PSNR，以衡量3DVC的性能。

圖1給出了現有H.264/AVC的率失真準則計算流程圖，在H.264/AVC視頻編碼標準中，首先對當前編碼塊進行預測，然后計算當前編碼塊與預測塊之間的平均平方誤差MSE作為失真D_H264；然后將當前編碼塊的像素灰度值減去預測塊的像素灰度值，得到預測差值，對預測差值進行離散余弦變換，量化，熵編碼，繼而得到當前編碼塊的編碼碼率R_H264，最后采用下式計算當前編碼塊的率失真代價J_H264：J_H264＝D_H266+λ·R_H264，其中λ為拉格朗日乘子。