[發明專利]結合JND模型的交叉驗證深度圖質量評價方法

有效

• 申請號: 201710041375.6
• 申請日: 2017-01-20
• 公開（公告）號: CN106803952B
• 公開（公告）日: 2018-09-14
• 發明（設計）人: 陳芬;陳嘉麗;彭宗舉;蔣剛毅;郁梅
• 申請（專利權）人: 寧波大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/106
• 代理公司: 寧波奧圣專利代理事務所(普通合伙) 33226
• 代理人: 周玨

1.一種結合JND模型的交叉驗證深度圖質量評價方法，其特征在于包括以下步驟：

①將待評價的深度圖記為D_tar，將D_tar對應的彩色圖記為Τ_tar，將除D_tar和Τ_tar所在視點外的另一個已知視點定義為輔助視點，將輔助視點上的彩色圖記為T_ref；然后通過將D_tar中的所有像素點的像素值轉化為視差值，將Τ_tar中的所有像素點經3D-Warping映射到T_ref中；其中，D_tar、Τ_tar和T_ref的垂直方向上的像素點的總個數為M，D_tar、Τ_tar和T_ref的水平方向上的像素點的總個數為N；

②令E_tar表示尺寸大小與D_tar的尺寸大小相同的差值圖，將E_tar中坐標位置為(x,y)的像素點的像素值記為E_tar(x,y)，當輔助視點在D_tar和Τ_tar所在視點的左邊時，判斷y+d_tar,p(x,y)是否大于N，如果是，則令E_tar(x,y)＝0，否則，滿足u＝x、v＝y+d_tar,p(x,y)，E_tar(x,y)＝|Ι_tar(x,y)-Ι_ref(u,v)|；當輔助視點在D_tar和Τ_tar所在視點的右邊時，判斷y-d_tar,p(x,y)是否小于1，如果是，則令E_tar(x,y)＝0，否則，滿足u＝x、v＝y-d_tar,p(x,y)，E_tar(x,y)＝|Ι_tar(x,y)-Ι_ref(u,v)|；其中，1≤x≤M,1≤y≤N，1≤u≤M,1≤v≤N，d_tar,p(x,y)表示D_tar中坐標位置為(x,y)的像素點的像素值轉化得到的視差值，符號“| |”為取絕對值符號，Ι_tar(x,y)表示Τ_tar中坐標位置為(x,y)的像素點的亮度分量，Ι_ref(u,v)表示T_ref中坐標位置為(u,v)的像素點的亮度分量；

③令C表示尺寸大小與D_tar的尺寸大小相同的遮擋掩膜圖像，將C中坐標位置為(x,y)的像素點的像素值記為C(x,y)，將C中的每個像素點的像素值初始化為0，將Τ_tar中經3D-Warping映射到T_ref中坐標位置為(u,v)處的像素點的總個數記為N_(u,v)；當N_(u,v)＝1時，令C(x,y)＝0；當N_(u,v)>1時，其中，N_(u,v)的值為0或為1或大于1，D_tar(x,y)表示D_tar中坐標位置為(x,y)的像素點的像素值，max()為取最大值函數，1≤x_(u,v),i≤M,1≤y_(u,v),i≤N，(x_(u,v),i,y_(u,v),i)表示Τ_tar中經3D-Warping映射到T_ref中坐標位置為(u,v)處的N_(u,v)個像素點中的第i個像素點在Τ_tar中的坐標位置，D_tar(x_(u,v),i,y_(u,v),i)表示D_tar中坐標位置為(x_(u,v),i,y_(u,v),i)的像素點的像素值；

④利用C去除E_tar中被遮擋的像素點，得到去遮擋后的差值圖，記為E'_tar，將E'_tar中坐標位置為(x,y)的像素點的像素值記為E'_tar(x,y)，E'_tar(x,y)＝E_tar(x,y)×(1-C(x,y))；

⑤計算T_ref中的每個像素點的紋理判斷因子，將T_ref中坐標位置為(u,v)的像素點的紋理判斷因子記為z(u,v)，其中，1≤u≤M,1≤v≤N，z_h(u,v)表示T_ref中坐標位置為(u,v)的像素點的水平方向的紋理判斷因子，z_h(u,v)的值為1或0，z_h(u,v)＝1表示T_ref中坐標位置為(u,v)的像素點為水平方向的紋理像素點，z_h(u,v)＝0表示T_ref中坐標位置為(u,v)的像素點為水平方向的非紋理像素點，z_v(u,v)表示T_ref中坐標位置為(u,v)的像素點的垂直方向的紋理判斷因子，z_v(u,v)的值為1或0，z_v(u,v)＝1表示T_ref中坐標位置為(u,v)的像素點為垂直方向的紋理像素點，z_v(u,v)＝0表示T_ref中坐標位置為(u,v)的像素點為垂直方向的非紋理像素點；

⑥令T表示尺寸大小與T_ref的尺寸大小相同的區域標記圖，將T中坐標位置為(u,v)的像素點的像素值記為T(u,v)，將T中的每個像素點的像素值初始化為0；利用Canny算子檢測出T_ref中的邊緣區域，假設T_ref中坐標位置為(u,v)的像素點屬于邊緣區域，則令T(u,v)＝1；假設T_ref中坐標位置為(u,v)的像素點的紋理判斷因子z(u,v)＝1，則當T(u,v)＝0時確定T_ref中坐標位置為(u,v)的像素點屬于紋理區域，并重新令T(u,v)＝2；其中，T(u,v)的值為0或1或2，T(u,v)＝0代表T_ref中坐標位置為(u,v)的像素點屬于平坦區域，T(u,v)＝1代表T_ref中坐標位置為(u,v)的像素點屬于邊緣區域，T(u,v)＝2代表T_ref中坐標位置為(u,v)的像素點屬于紋理區域；

⑦引入基于亮度掩蔽和紋理掩蔽效應的JND模型，利用JND模型，并根據T_ref中的每個像素點所屬區域，計算T_ref中的每個像素點的誤差可視閾值，將T_ref中坐標位置為(u,v)的像素點的誤差可視閾值記為Th(u,v)，其中，max()為取最大值函數，min()為取最小值函數，bg(u,v)表示T_ref中坐標位置為(u,v)的像素點的平均背景亮度，mg(u,v)表示T_ref中坐標位置為(u,v)的像素點的周圍亮度的最大平均加權，LA(u,v)表示T_ref中坐標位置為(u,v)的像素點的亮度掩蔽效應，

f(bg(u,v),mg(u,v))＝mg(u,v)×α(bg(u,v))+β(bg(u,v))，α(bg(u,v))＝bg(u,v)×0.0001+0.115，β(bg(u,v))＝0.5-bg(u,v)×0.01；

⑧令E表示尺寸大小與D_tar的尺寸大小相同的深度誤差圖，將E中坐標位置為(x,y)的像素點的像素值記為E(x,y)，當E'_tar(x,y)＝0時，E(x,y)＝0；當E'_tar(x,y)≠0時，其中，V_(x,y)＝(u,v)表示一個映射過程，(x,y)為Τ_tar中的像素點的坐標位置，(u,v)為T_ref中的像素點的坐標位置，當T_ref所在視點在Τ_tar所在視點的左邊時，滿足u＝x、v＝y+d_tar,p(x,y)；當T_ref所在視點在Τ_tar所在視點的右邊時，滿足u＝x、v＝y-d_tar,p(x,y)；

⑨統計E中像素值為1的像素點的總個數，記為num_E；然后計算D_tar中的錯誤像素點的比率作為D_tar的質量評價值，記為EPR，