[發明專利]一種多視點深度視頻處理方法

有效

• 申請號: 201210223251.7
• 申請日: 2012-06-27
• 公開（公告）號: CN102769746A
• 公開（公告）日: 2012-11-07
• 發明（設計）人: 蔣剛毅;錢健;郁梅;朱林衛;邵楓;彭宗舉;白翠霞
• 申請（專利權）人: 寧波大學
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/30;H04N13/00
• 代理公司: 寧波奧圣專利代理事務所(普通合伙) 33226
• 代理人: 周玨

1.一種多視點深度視頻處理方法，其特征在于它的處理過程為：對待處理的原始多視點深度視頻進行預處理，以降低編碼碼率；然后對預處理后的多視點深度視頻進行編碼壓縮、解碼重建操作；再對解碼重建后的多視點深度視頻進行深度恢復及空域平滑處理；最后利用處理后的多視點深度視頻繪制虛擬視點視頻圖像；其中，對解碼重建后的多視點深度視頻進行深度恢復及空域平滑處理的具體過程為：

①將解碼重建后的多視點深度視頻中當前正在處理的第k幀深度圖像定義為當前深度圖像，并記為D'(W,H,k)，其中，1≤k≤K，在此K表示解碼重建后的多視點深度視頻中包含的深度圖像的幀數，W表示解碼重建后的多視點深度視頻中的深度圖像的水平分辨率，H表示解碼重建后的多視點深度視頻中的深度圖像的豎直分辨率，W×H表示解碼重建后的多視點深度視頻中的深度圖像的分辨率；

②根據對應的原始多視點彩色視頻中與當前深度圖像D'(W,H,k)對應的彩色圖像C(W,H,k)的邊界掩膜M(W,H,k)中的每個像素點的像素值，對當前深度圖像D'(W,H,k)中的像素點進行深度恢復處理，然后對當前深度圖像D'(W,H,k)中經深度恢復后的每個像素點進行空域平滑處理，對于當前深度圖像D'(W,H,k)中坐標位置為(x,y)的像素點，判斷M(W,H,k)中坐標位置為(x,y)的像素點的像素值m(x,y，k)是否為1，即判斷M(W,H,k)中坐標位置為(x,y)的像素點是否為邊界像素點，如果是，則對當前深度圖像D'(W,H,k)中坐標位置為(x，y)的像素點進行深度恢復處理，得到深度恢復后的像素值，記為d″(x,y,k)，d′′(x,y,k)=Σ(a,b)∈w(x,y)(d′(a,b,k)×Csum(a,b,k))Σ(a,b)∈w(x,y)Csum(a,b,k),]]>然后采用三邊濾波對當前深度圖像D'(W,H,k)中經深度恢復后的坐標位置為(x，y)的像素點進行空域平滑處理，得到空域平滑后的像素值，記為d*(x,y,k)，d*(x,y,k)=Σ(a,b)∈w(x,y)(ω(a,b,k)×d′′(a,b,k))Σ(a,b)∈w(x,y)ω(a,b,k),]]>否則，對當前深度圖像D'(W,H,k)中坐標位置為(x，y)的像素點不進行深度恢復處理，即當前深度視頻D'(W,H,k)中坐標位置為(x,y)的像素點經深度恢復處理后的像素值d″(x,y,k)=d'(x,y,k)，然后采用雙邊濾波對當前深度視頻D'(W,H,k)中坐標位置為(x,y)的像素點進行空域平滑處理，得到空域平滑后的像素值，記為d*(x,y,k)，d*(x,y,k)=Σ(a,b)∈w(x,y)(ω1(a,b,k)×ω2(a,b,k)×d′′(a,b,k))Σ(a,b)∈w(x,y)ω1(a,b,k)×ω2(a,b,k),]]>其中，1≤x≤W,1≤y≤H，w(x,y)表示當前深度圖像D'(W,H,k)中以坐標位置(x,y)為中心的鄰域窗口，d'(a,b,k)表示當前深度圖像D'(W,H,k)中坐標位置為(a,b)的像素點的像素值，C_sum(a,b,k)表示當前深度圖像D'(W,H,k)中坐標位置為(a,b)的像素點在深度恢復時的權值，C_sum(a,b,k)=C₀(a,b,k)×(α×S_d(a,b,k)+(1-α)×S_c(a,b,k))，C0(a,b,k)=1Nfreq(a,b,k)×Σl=0Nfreq(a,b,k)-1|(a-x0(l))+(b-y0(l))|]]>w(a,b)表示當前深度圖像D'(W,H,k)中以坐標位置(a,b)為中心的鄰域窗口，δ[d'(a,b,k),d'(x₁,y₁,k)]表示當前深度視頻D'(W,H,k)中坐標位置為(a,b)的像素點的像素值d'(a,b,k)與當前深度視頻D'(W,H,k)中坐標位置為(x₁,y₁)的像素點的像素值d'(x₁,y₁,k)的相似度值，x₀(l)表示w(a,b)內與中心像素點的像素值d'(a,b,k)相等的鄰域像素點的橫坐標，y₀(l)表示w(a,b)內與中心像素點的像素值d'(a,b,k)相等的鄰域像素點的縱坐標，S_d(a,b,k)=|d'(a,b,k)-d'(x₁,y₁,k)|，Sc(a,b,k)=|c(a,b,k)-c(x₁,y₁,k)|，c(a,b,k)表示C(W,H,k)中坐標位置為(a,b)的像素點的像素值，c(x₁,y₁,k)表示C(W,H,k)中坐標位置為(x₁,y₁)的像素點的像素值，α表示深度信息權值，0≤α≤1，符號“||”為取絕對值符號，ω(a,b,k)表示當前深度圖像D'(W,H,k)中坐標位置為(a,b)的像素點在三邊濾波時的權值，ω(a,b,k)=ω₁(a,b,k)×ω₂(a,b,k)×ω₃(a,b,k)，ω2(a,b,k)=exp(-(d1(a,b,h)-d1(x,y,h))22σ22),]]>ω3(a,b,k)=exp(-(c(a,b,k)-c(x,y,k))22σ32),]]>exp()表示以e=2.718281828為底的指數函數，d₁(a,b,h)表示原始多視點深度視頻經重組變換后得到的多視點深度視頻中的第h幀深度圖像中坐標位置為(a,b)的像素點的像素值，d₁(x,y,h)表示原始多視點深度視頻經重組變換后得到的多視點深度視頻中的第h幀深度圖像中坐標位置為(x,y)的像素點的像素值，1≤h≤H??，此處在“”中k的具體值與h的具體值相同，c(x,y,k)表示C(W,H,k)中坐標位置為(x,y)的像素點的像素值，d″(a,b,k)表示當前深度圖像D'(W,H,k)中坐標位置為(a,b)的像素點經深度恢復處理后的像素值，σ₁、σ₂、σ₃均表示尺度因子；

③令k'＝k+1,k＝k'，并將解碼重建后的多視點深度視頻中下一幀待處理的深度圖像作為當前深度圖像，然后返回步驟②繼續執行，直至解碼重建后的多視點深度視頻中的所有深度圖像處理完畢，其中，k'的初始值為0，在此k'＝k+1,k＝k'中的“=”為賦值符號。