[發明專利]基于圖像分割的立體視頻右圖像整幀丟失的錯誤隱藏方法

無效

• 申請號: 201110275077.6
• 申請日: 2011-09-16
• 公開（公告）號: CN102307304A
• 公開（公告）日: 2012-01-04
• 發明（設計）人: 劉榮科;時琳;關博深
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04N7/68
• 分類號: H04N7/68;H04N7/26;H04N7/50;H04N13/00
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 官漢增

1.一種基于圖像分割的立體視頻右圖像整幀丟失的錯誤隱藏方法，其特征在于：包括以下幾個步驟：

步驟一：將丟失幀以宏塊為單位劃分為背景區域和運動區域：

如果立體視頻右視點t時刻幀F_r，t丟失，已正確解碼的相鄰時刻的右視點t-1時刻幀F_r，t-1、左視點t-1時刻幀F_1，t-1和左視點t時刻幀F_1，t將被用于恢復右視點t時刻幀F_r，t，根據立體視頻的時間和空間相關性，利用右視點t時刻幀丟失幀的先前幀t-1時刻幀F_r，t-1進行區域劃分，將丟失幀劃分為背景區域和前景區域，具體為：

(1)左視點t-1時刻幀F_l，t-1和右視點t-2時刻幀F_r，t-2分別與右視點t-1時刻幀F_r，t-1的每個4×4子塊的對應像素點做差值，分別取絕對誤差和SAD，右視點t-1時刻幀F_r，t-1的每個4×4子塊均得到兩個絕對誤差和SAD值，分別為SAD_v和SAD_t：

SADv=Σm=03Σn=03|Fl,t-1(x0+m,y0+n)-Fr,t-1(x0+m,y0+n)|]]>

SADt=Σm=03Σn=03|Fr,t-2(x0+m,y0+n)-Fr,t-1(x0+m,y0+n)|]]>

其中，SAD_v表示不同視點同一時刻的兩幀SAD值，SAD_t表示同一視點不同時刻的兩幀SAD值，F_r，t-1(x，y)表示右視點t-1時刻幀F_r，t-1坐標為(x，y)像素點的灰度值，F_l，t-1(x，y)表示左視點t-1時刻幀F_l，t-1坐標為(x，y)像素點的灰度值，F_r，t-2(x，y)表示右視點t-2時刻的幀F_r，t-2坐標為(x，y)像素點的灰度值，(x₀，y₀)為4×4子塊第一行左邊第一個像素的坐標，m取0～3的整數，n取0～3的整數，用m、n遍歷4×4子塊內的每一個像素，(x₀+m，y₀+n)表示4×4子塊每一個像素的坐標；

(2)每個宏塊中的16個4×4子塊，比較每個子塊對應的同一視點不同時刻的兩幀SAD值SAD_v和同一視點不同時刻的兩幀SAD值SAD_t大小，若宏塊中有一個子塊的SAD_v≤SAD_t，則該宏塊屬于前景區域；否則，該宏塊屬于背景區域；

(3)重復步驟(1)、(2)，直至計算完最后一個宏塊，將一幀圖像的整個區域被劃分為前景區域和背景區域；

步驟二：運動矢量反向投影調整區域的劃分：

調整步驟一中丟失幀的區域劃分，根據時域的相關性，先得到步驟一中劃分后屬于前景區域邊緣的每個宏塊的運動矢量，如果宏塊采用視差補償預測或幀內預測方法，其運動矢量通過用周圍相鄰宏塊的運動矢量預測或對該宏塊做運動估計來得到，將t-1時刻幀F_r，t-1某一前景區域邊緣的宏塊的運動矢量反向投影到右視點t時刻幀F_r，t，t時刻幀F_r，t的背景區域的宏塊中有被該投影的前景區域的宏塊覆蓋的，將這些宏塊標記為屬于前景區域的宏塊；采用相同的方法完成前景區域邊緣的每一個宏塊的運動矢量的反向投影；

丟失幀已劃分為背景區域和前景區域，其中背景區域利用前一時刻幀圖像信息進行替代補償，前景區域利用視點間或視點內的相關性來恢復，在步驟三到步驟六說明；

步驟三：找到右視點t-1時刻幀F_r，t-1中的像素在左視點t-1時刻幀F_l，t-1中的對應像素：

從右視點t-1時刻幀F_r，t-1到左視點t-1時刻幀F_l，t-1的視差估計采用全搜索的方法獲得，右視點t-1時刻幀F_r，t-1中像素的視差矢量為DV_t-1，以最小化SAD為匹配準則進行視差估計：

SAD(DVx,DVy)=Σ(x,y)∈B|Fr,t-1(x,y)-Fl,t-1(x+DVx,y+DVy)|]]>

DV_x表示DV_t-1的水平分量；DV_y表示DV_t-1的垂直分量，B表示3×3像素塊，(x，y)表示區域B中像素的坐標，視差估計之后用3×3中值濾波器濾除不規則的視差矢量，當且僅當3×3窗口的中心為9個像素里視差矢量最大或最小值時異常值被濾除，采用3×3窗口的中心像素的視差矢量被替換為這9個像素視差矢量的中值，否則保留該像素原視差矢量不變；右視點t-1時刻幀F_r，t-1中的非遮擋像素通過視差矢量找到在左視點t-1時刻幀F_l，t-1中的對應像素；

步驟四：分模式自適應隱藏前景區域的宏塊：

經步驟三完成的前景區域的非遮擋像素做視差估計找到在左視點的對應像素后，再進行分模式自適應隱藏，前景區域利用視差信息和時間域的運動信息進行修復；若一個宏塊內的每個像素的視差矢量分布在均值視差矢量DV附近的4個像素寬度的區間里，則該宏塊用視差矢量的均值視差矢量DV以4×4子塊為單元恢復：

F_r，t(x，y)＝F_l，t(x+DV_x，y+DV_y)

F_l，t(x，y)表示左視點t時刻幀F_l，t坐標為(x，y)像素點的灰度值，否則的話，該宏塊可能位于前景物體的邊緣或者其運動復雜不適合以4×4子塊為單元恢復，將左視點t時刻幀F_l，t的運動矢量投影到右視點t時刻幀F_r，t來重建丟失幀F_r，t的每個像素；當前時刻左右視點對應的同一運動像素相對前一時刻的運動矢量近似相等：

MV_r，t(x，y)＝MV_1，t(x+DV_x，y+DV_y)

其中，MV_r，t(x，y)表示右視點t時刻幀F_r，t中坐標為(x，y)的像素點的運動矢量，右視點t時刻幀F_r，t中坐標為(x，y)的像素點在左視點F_l，t中對應像素的坐標為(x+DV_x，y+DV_y)，MV_l，t(x+DV_x，y+DV_y)表示左視點幀F_l，t中坐標為(x+DV_x，y+DV_y)的像素點的運動矢量；

如果左視點的對應像素屬于幀內預測宏塊，MV_1，t用周圍相鄰宏塊的運動矢量預測或對該宏塊做運動估計來得到；運動估計時，周圍宏塊的運動矢量作為搜索的起始點，搜索采用最小SAD匹配準則，B表示3×3像素塊：

SAD(MVx,MVy)=Σ(x,y)∈B|Fl,t(x,y)-Fl,t-1(x+MVx,y+MVy)|]]>

然后前景區域的像素按下述公式隱藏，得到前景區域的像素：

F_r，t(x，y)＝F_r，t-1(x+MV_x，y+MV_y)

步驟五：填補空洞：

上述方法用視差矢量和運動矢量隱藏丟失幀后，由于遮擋會有未隱藏的空洞區域；當空洞區域大于2×2像素時，中值濾波器不能填補，以零矢量從時域上前一時刻幀拷貝；

步驟六：時域亮度分量的變化補償：

左視點t-1時刻幀F_l，t-1和左視點t時刻幀F_l，t兩幀的時域幀差用下述公式來表示：

ΔF_l，t-1→t(x，y)＝F_l，t(x，y)-F_l，t-1(x，y)

其中ΔF_l，t-1→t(x，y)表示左視點t時刻幀F_l，t和左視點t-1時刻幀F_l，t-1每個像素灰度的差值；F_l，t(x，y)表示左視點t-1時刻F_l，t坐標為(x，y)像素的灰度值；

丟失的右視點幀的時域幀差：ΔF_r，t-1→t(x，y)＝ΔF_l，t-1→t(x+DV_x，y+DV_y)

ΔF_r，t-1→t(x，y)表示右視點t時刻幀F_r，t和右視點t-1時刻幀F_r，t-1每個像素灰度的差值；右視點幀t時刻F_r，t中坐標為(x，y)的像素點在左視點F_l，t中對應像素的坐標為(x+DV_x，y+DV_y)；ΔF_l，t-1→t(x+DV_x，y+DV_y)表示表示左視點t時刻幀F_l，t中坐標為(x+DV_x，y+DV_y)的像素點和t-1時刻幀F_l，t-1對應像素灰度的差值，得到丟失幀前景區域每個像素的時域幀差，將其加至步驟五得到的前景區域錯誤隱藏圖像上：

F_r，t(x-MV_x，y-MV_y)＝F_r，t-1(x，y)+ΔF_r，t-1→t(x，y)

然后再用中值濾波器除噪，得到丟失幀F_r，t的重建圖像。