[發明專利]一種多視點深度視頻處理方法

有效

• 申請號: 201210223251.7
• 申請日: 2012-06-27
• 公開（公告）號: CN102769746A
• 公開（公告）日: 2012-11-07
• 發明（設計）人: 蔣剛毅;錢健;郁梅;朱林衛;邵楓;彭宗舉;白翠霞
• 申請（專利權）人: 寧波大學
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/30;H04N13/00
• 代理公司: 寧波奧圣專利代理事務所(普通合伙) 33226
• 代理人: 周玨

技術領域

本發明涉及一種視頻信號處理技術，尤其是涉及一種多視點深度視頻處理方法。

背景技術

深度視頻序列對應于彩色視頻序列，反映的是對象物體距離相機的遠近，將彩色圖中的每個像素點距離相機的實際距離量化到0～255，再將這個量化值賦給彩色圖中的對應位置即成為深度圖。深度視頻序列中亮度值越大說明該像素點位置距離相機越近，反之，說明該像素點距離相機越遠。深度視頻序列是由深度相機拍攝或是深度估計得到的，由于深度相機比較昂貴且存在適用范圍及精度的問題，因此目前的深度視頻序列一般都是由深度估計得到的。

由于深度求取的不準確會導致時域抖動效應，從而降低深度的時域相關性，降低編碼效率，且深度驟變也容易在虛擬視點繪制時出現空洞，造成填補困難與計算復雜度的提高，及虛擬視點生成的速度降低。目前的深度預處理往往從全局出發對深度圖進行濾波，而未結合人眼的視覺感知來保護那些易被察覺的區域，因此結合人眼對深度的關注度這一理論有進一步改進的空間。另外，深度圖經過H.264編碼器時會引入新的噪聲，且由于深度圖的特殊性質，這些編碼失真往往在深度的邊緣區域最為明顯，而邊緣區域恰是虛擬視點繪制的敏感區域，因此需要深度恢復技術來還原真實的深度邊界，以提高虛擬視點繪制圖像的主客觀質量。

發明內容

本發明所要解決的技術問題是提供一種能夠有效提高虛擬視點繪制圖像的主客觀質量的多視點深度視頻處理方法。

本發明解決上述技術問題所采用的技術方案為：一種多視點深度視頻處理方法，其特征在于它的處理過程為：對待處理的原始多視點深度視頻進行預處理，以降低編碼碼率；然后對預處理后的多視點深度視頻進行編碼壓縮、解碼重建操作；再對解碼重建后的多視點深度視頻進行深度恢復及空域平滑處理；最后利用處理后的多視點深度視頻繪制虛擬視點視頻圖像；其中，對解碼重建后的多視點深度視頻進行深度恢復及空域平滑處理的具體過程為：

①將解碼重建后的多視點深度視頻中當前正在處理的第k幀深度圖像定義為當前深度圖像，并記為D'(W,H,k)，其中，1≤k≤K，在此K表示解碼重建后的多視點深度視頻中包含的深度圖像的幀數，W表示解碼重建后的多視點深度視頻中的深度圖像的水平分辨率，H表示解碼重建后的多視點深度視頻中的深度圖像的豎直分辨率，W×H表示解碼重建后的多視點深度視頻中的深度圖像的分辨率；