[發明專利]基于JNDD模型的快速深度圖編碼模式選擇方法

有效

• 申請號: 201210237892.8
• 申請日: 2012-07-11
• 公開（公告）號: CN102801996A
• 公開（公告）日: 2012-11-28
• 發明（設計）人: 鄔芙瓊;安平;鄭專;張秋聞;張兆楊
• 申請（專利權）人: 上海大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N7/26
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 何文欣

技術領域

本發明涉及一種三維視頻編碼中深度圖編碼技術，特別是一種降低深度圖編碼復雜度的基于最小可覺深度差(Just?Noticeable?Depth?Difference,?JNDD)模型的編碼模式選擇方法。

背景技術

深度增強型三維視頻(Three-Dimensional?Video,?3DV)結構由彩色視頻和其對應的深度圖組成，是目前廣泛流行的多視點視頻(Multi-view?Video,?MVV)或自由視點視頻(Free?Viewpoint?Video,?FVV)的表示方法。在MVV和FVV的應用設備中，基于深度圖像的繪制技術(Depth?Image?Based?Rendering,?DIBR)利用深度圖蘊含的幾何信息合成高質量的虛擬視點，具有便于壓縮、兼容性好、支持交互性等特點。為了滿足數據存儲和網絡傳輸等要求，深度圖通常由灰度級圖像序列表示，并且可由H.264/AVC等視頻編碼技術進行編碼。

深度圖是基于深度的虛擬視點繪制過程中的重要輔助信息，在3DV系統中對合成視的質量至關重要。在視點繪制過程中，原始彩色視頻中的像素點根據其對應的深度信息被變換為基于深度的虛擬視點。若在虛擬視中前景對象和背景對象的像素點出現交疊，則由前者遮擋后者。若深度數據存在失真，則會造成某些像素被映射到虛擬視中的不同位置而導致幾何變化。此外，深度數據的改變也可能造成前景對象和背景對象遮擋次序的改變，使得繪制視中背景對象意外地可見，從而導致遮擋變化。深度圖中幾何變化和遮擋變化均能引起合成視中的紋理失真。在3DV系統中除了深度圖獲取時產生的失真，由深度圖編碼引入的深度失真也會引起繪制虛擬視的失真，從而導致合成視的紋理失真，因此對深度圖壓縮編碼時除考慮編碼效率外尤其要考慮深度編碼方法對虛擬繪制視的影響。

在深度增強型3DV系統的編碼過程中，深度圖中像素點的亮度值會由于壓縮編碼而產生變化，從而在合成視中引入紋理失真。深度圖中兩個相鄰水平像素點的深度差越大，這兩個點在繪制后不連續的可能性越大。因此深度圖中邊緣區域極易由于深度值的改變而引起虛擬視中的像素點被映射到錯誤位置而產生幾何變化，由前景和背景次序改變導致的遮擋變化也極易在邊緣區域發生。在深度圖中不同區域的編碼失真對合成視的影響是不同的。由邊緣區域的編碼失真引入的繪制失真在合成視中是惱人的且極易被發覺的。而在平坦區域，由深度編碼引起的繪制失真通常是輕微的、不易被察覺的。根據人眼的視覺特性，人眼通常察覺不到一定小范圍內的深度變化，因此在這一深度變化范圍內，由深度編碼引起的繪制失真是人眼所察覺不到的。

發明內容

本發明旨在針對已有技術存在的缺陷，提供一種基于JNDD模型的快速深度圖編碼模式選擇方法，利用深度數據的特點及深度圖編碼失真對虛擬繪制視的影響，在保證虛擬繪制視質量與深度圖編碼碼率基本不變的同時，降低深度圖編碼的計算復雜度以提高深度圖編碼速度。

為達到上述目的，本發明的構思是：

首先對編碼宏塊進行邊緣檢測，得到當前塊的邊緣值；然后利用最小可覺深度差模型確定宏塊內不同深度值區域內的深度差不可被人眼察覺的門限值，根據上述門限值與邊緣值進行比較的結果，將深度圖劃分為垂直邊緣區域與平坦區域；對垂直邊緣區域和平坦區域采用不同的編碼模式搜索策略，得到各宏塊的最優編碼模式。

根據上述構思，本發明的技術方案是：

上述的基于JNDD模型的快速深度圖編碼模式選擇方法,?其步驟是：

(1)?????編碼宏塊的邊緣檢測：對各編碼宏塊進行邊緣檢測，得到當前宏塊的邊緣值；

(2)?????宏塊區域類型的劃分：將宏塊邊緣值與由JNDD模型確定的深度差不可被人眼察覺的門限值進行比較，把宏塊劃分為垂直邊緣區域與平坦區域；

(3)?????最優編碼模式選擇：對邊緣區域采用全搜索策略，對平坦區域采用SKIP模式、幀間16×16模式和幀內模式搜索，得到各宏塊的最優編碼模式。

本發明的基于JNDD模型的快速深度圖編碼模式選擇方法與已有技術相比較，具有如下顯而易見的突出實質性特點和顯著優點：該方法將JNDD模型引入到深度編碼中，合理地對常規視頻編碼器進行改進，以對繪制的虛擬視不引入任何人眼可察覺的紋理失真為前提，將深度圖劃分為對繪制失真敏感的邊緣區域和深度失真所引入的繪制失真在人眼不可察覺范圍內的平坦區域，舍去了平坦區域中不必要的模式搜索，在編碼碼率與繪制質量基本不變的前提下降低了深度圖編碼復雜度，從而可以在基于深度的3DV系統中深度編碼方面得到應用。

附圖說明