[發明專利]一種基于深度信息的多視點立體視頻錯誤隱藏方法

無效

• 申請號: 201110310777.4
• 申請日: 2011-10-14
• 公開（公告）號: CN102510500A
• 公開（公告）日: 2012-06-20
• 發明（設計）人: 劉榮科;時琳;關博深
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04N7/68
• 分類號: H04N7/68;H04N7/26;H04N7/50;H04N13/00
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 官漢增

技術領域

本發明屬于視頻圖像處理領域，具體涉及一種基于深度信息的多視點立體視頻錯誤隱藏方法。

背景技術

傳統的單視點二維視頻不能真實再現自然場景，而多視點視頻能夠提供給觀看者身臨其境的感受，其相關技術近年來受到越來越多的關注，成為視頻技術中的一個熱點。多視點立體視頻是由多個攝像機同時對同一場景進行拍攝，得到多個視點的原始視頻數據，觀看者可以選擇視角來收看視頻信息。多視點視頻廣泛應用于3D電視、全景視頻、交互式多視點視頻、虛擬現實、遠程醫療、教育、觀光等多個領域的多媒體業務。和單視點視頻相比，多視點立體視頻數據量成倍增加。如果不能有效地壓縮多視點視頻，則會增加視頻數據的存儲和傳輸的困難，制約其廣泛應用。

為了以較低碼傳輸高質量的立體視頻流，多視點視頻一般采用雙視加深度的格式(左右兩視點的彩色視頻圖和對應的深度圖)，通常將彩色視頻圖和深度圖各自壓縮編碼。在解碼端采用基于深度的虛擬視點合成技術(DIBR?Depth?Image?Based?Rendering)，用左右兩視點和對應的深度圖生成多視點視頻，可根據用戶的需求(立體視頻或任意視點視頻)重建一個或多個角度的立體視頻。

立體視頻當前編碼幀除了利用自身視點中已編碼幀做參考幀外，還可用其它視點中的已編碼幀作為參考圖像進行視差估計預測。目前，主流的立體視頻編碼方法是基于H.264/AVC的，不但要消減以往單視點視頻信息中時間、空間冗余信息，還要考慮立體的特性去除視點間的冗余信息。圖1是文獻(“S.?Li，M.Yu，G.Jiang，et?al.Approaches?to?H.264-based?Stereoscopic?Video?Coding”)提出的雙目視差編碼結構，是目前應用最多的立體視頻編碼結構。左視點采用基于H.264/AVC的IPPP編碼結構，右視點的各圖像塊采用兩種預測方式：一種是基于右視點本身先前時刻幀的運動補償預測(MCP?Motion?Compensation?Prediction)方式；另一種是基于左視點同一時刻幀的視差補償預測(DCP?Disparity?Compensation?Prediction)方式。從中選擇預測誤差較小的一種作為該圖像塊的編碼方式。這種編碼結構兼顧了視點間和視點內的相關性，能夠得到比較高的壓縮效率。

傳輸視頻數據給視頻終端用戶的過程中可能會面臨嚴重的網絡挑戰，包括網絡協議、服務質量(QoS?Quality?of?Service)、信道延遲等問題。解碼端接收到的視頻數據往往發生丟包與誤碼，這會導致解碼圖像出現不同程度的失真。視頻壓縮方法中大多采用了預測編碼和變長編碼，這使得視頻數據對傳輸錯誤更加敏感，一個比特的錯誤可能導致解碼圖像中一條帶區域的失真，甚至失真會擴散到后續幀。立體視頻數據量巨大，相比單視點視頻對信道錯誤更加敏感，一個視點圖像的小區域失真還會嚴重影響視頻的立體成像效果。為了解決這一問題，即在立體視頻流丟包或誤碼的情況下仍能得到較高質量的立體視頻，采用錯誤隱藏(EC?Error?concealment)技術對丟失幀恢復。錯誤隱藏的基本思想是在解碼端利用圖像的時間域、空間域或視間域的冗余信息恢復受損區域，掩蓋和減少出現的錯誤，使其視覺效果接近于原來的效果。

進行錯誤隱藏的前提是錯誤檢測，只有對視頻信號在傳輸過程中發生的錯誤正確檢測才能進行下一步的有效處理。目前針對多視點視頻錯誤檢測的研究很少，尚沒有一種單獨針對多視點視頻的錯誤檢測方法被提出。傳統單視點視頻的錯誤檢測方法分為兩大類：基于語法的錯誤檢測和基于相關性的錯誤檢測。基于語法的錯誤檢測通過檢查碼流中語法元素是否符合相應視頻壓縮標準規定的語法結構判斷是否有錯。這種錯誤檢測方法由于不增加額外的傳輸開銷以及其實現方法簡單而得到非常廣泛的應用，但錯誤定位的精度較差。基于相關性的錯誤檢測利用自然圖像各像素值的空間相關性，若解碼圖像某區域中的像素值與周圍像素值的差值較大，即圖像中某區域的像素值發生突變，則認為碼流中與該區域對應的數據在傳輸過程中發生錯誤。