[發明專利]基于視覺閾值與通道融合的立體圖像客觀質量評價方法

有效

• 申請號: 201210585736.0
• 申請日: 2012-12-28
• 公開（公告）號: CN103108209A
• 公開（公告）日: 2013-05-15
• 發明（設計）人: 郁梅;孔真真;蔣剛毅;彭宗舉;邵楓
• 申請（專利權）人: 寧波大學
• 主分類號: H04N17/00
• 分類號: H04N17/00
• 代理公司: 寧波奧圣專利代理事務所(普通合伙) 33226
• 代理人: 周玨

1.一種基于視覺閾值與通道融合的立體圖像客觀質量評價方法，其特征在于具體包括以下步驟：

①令S_org為原始的無失真的立體圖像，令S_dis為失真的立體圖像，將原始的無失真的立體圖像S_org的左視點圖像記為L_org，將原始的無失真的立體圖像S_org的右視點圖像記為R_org，將失真的立體圖像S_dis的左視點圖像記為L_dis，將失真的立體圖像S_dis的右視點圖像記為R_dis；

②計算L_org與L_dis的差值圖，記為D_l，D_l=|L_org-L_dis|,并計算R_org與R_dis的差值圖，記為D_r，D_r=|R_org-R_dis|，然后計算L_org與R_org的差值圖，記為D_org，D_org=L_org-R_org|，并計算L_dis與R_dis的差值圖，記為D_dis，D_dis=|L_dis-R_dis|，再計算D_org與D_dis的差值圖，記為DD，DD=|D_org-D_dis|，其中，“||”為取絕對值符號；

③獲取L_org的視覺閾值圖，記為將L_org的視覺閾值圖中坐標位置為(i,j)的像素點的視覺閾值記為JNDorgl(i,j)=Tl(i,j)+Tt(i,j)-C×min{Tl(i,j),Tt(i,j)},]]>其中，1≤i≤W,1≤j≤H,W表示立體圖像的寬度,H表示立體圖像的高度,T^l(i,j)表示L_org中坐標位置為(i,j)的像素點對應的亮度閾值，表示L_org中坐標位置為(i,j)的像素點的亮度值的均值，I(i,j)表示L_org中坐標位置為(i,j)的像素點的亮度值，I(i-3+m,j-3+n)表示L_org中坐標位置為(i-3+m,j-3+n)的像素點的亮度值，B(m,n)表示5×5的低通濾波器中坐標位置為(m,n)處的值，T^t(i,j)表示L_org中坐標位置為(i,j)的像素點對應的紋理閾值，T^t(i,j)=α(i,j)×G(i,j)+β(i,j)，α(i,j)=0.0001×I(i,j)‾+0.115,]]>β(i,j)=0.5-0.01×I(i,j)‾,]]>G(i,j)表示L_org中坐標位置為(i,j)的像素點分別通過水平方向、垂直方向、45°方向和135°方向的高通濾波器濾波后得到的四個值中的最大值，C為加權系數，min()為取最小值函數；

獲取R_org的視覺閾值圖，記為將R_org的視覺閾值圖中坐標位置為(i,j)的像素點的視覺閾值記為JNDorgr(i,j)=Tr(i,j)+Tt′(i,j)-C×min{Tr(i,j),Tt′(i,j)},]]>其中，1≤i≤W,1≤j≤H,W表示立體圖像的寬度,H表示立體圖像的高度,T^r(i,j)表示R_org中坐標位置為(i,j)的像素點對應的亮度閾值，表示R_org中坐標位置為(i,j)的像素點的亮度值的均值，I'(i,j)表示R_org中坐標位置為(i,j)的像素點的亮度值，I'(i-3+m,j-3+n)表示R_org中坐標位置為(i-3+m,j-3+n)的像素點的亮度值，B(m,n)表示5×5的低通濾波器中坐標位置為(m,n)處的值，T^t′(i,j)表示R_org中坐標位置為(i,j)的像素點對應的紋理閾值，T^t′(i,j)=α'(i,j)×G'(i,j)+β'(i,j)，α′(i,j)=0.0001×I′(i,j)‾+0.115,]]>β′(i,j)=0.5-0.01×I′(i,j)‾,]]>G'(i,j)表示R_org中坐標位置為(i,j)的像素點分別通過水平方向、垂直方向、45°方向和135°方向的高通濾波器濾波后得到的四個值中的最大值，C為加權系數，min()為取最小值函數；

④將L_org與L_dis的差值圖D_l分成RGB三個通道的圖像，并將L_org與L_dis的差值圖D_l的第u個通道的圖像記為D_{l_u}；將R_org與R_dis的差值圖D_r分成RGB三個通道的圖像，并將R_org與R_dis的差值圖D_r的第u個通道的圖像記為D_{r_u}；將L_org的視覺閾值圖分成RGB三個通道的圖像，并將L_org的視覺閾值圖的第u個通道的圖像記為將R_org的視覺閾值圖分成RGB三個通道的圖像，并將R_org的視覺閾值圖的第u個通道的圖像記為其中，u=1,2,3,u=1表示R通道，u=2表示G通道，u=3表示B通道；

⑤將D_l的RGB三個通道的圖像、D_r的RGB三個通道的圖像、的RGB三個通道的圖像、的RGB三個通道的圖像分別分割成個互不重疊的尺寸大小為8×8的圖像塊，然后對D_l的RGB三個通道的圖像、D_r的RGB三個通道的圖像、的RGB三個通道的圖像、的RGB三個通道的圖像中的每個圖像塊進行奇異值分解，得到每個圖像塊各自對應的奇異值矩陣，將D_l的第u個通道的圖像D_{l_u}中的第k個圖像塊的奇異值矩陣記為S_{l_u_k},將D_r的第u個通道的圖像D_{r_u}中的第k個圖像塊的奇異值矩陣記為S_{r_u_k}，將的第u個通道的圖像中的第k個圖像塊的奇異值矩陣記為將的第u個通道的圖像中的第k個圖像塊的奇異值矩陣記為其中，為向下取整符號,

⑥計算D_l的每個通道的圖像中的每個圖像塊與的對應通道的圖像中的對應圖像塊之間的奇異值距離，將D_l的第u個通道的圖像D_{l_u}中的第k個圖像塊與的第u個通道的圖像中的第k個圖像塊之間的奇異值距離記為du,kl=Σx=18Σy=18(w×(Sl_u_k(x,y)-Sorg_u_kl(x,y)))2,]]>然后計算L_dis的每個通道的全局失真程度值，將L_dis的第u個通道的全局失真程度值記為Q_l，u，其中，w表示失真判斷值，w=1時表示D_l的第u個通道的圖像D_{l_u}中的第k個圖像塊中坐標位置為(x,y)的像素點失真，w=0時表示D_l的第u個通道的圖像D_{l_u}中的第k個圖像塊中坐標位置為(x,y)的像素點不失真，S_{l_u_k}(x,y)表示S_{l_u_k}中坐標位置為(x,y)處的奇異值，表示中坐標位置為(x,y)處的奇異值，“||”為取絕對值符號，D_{median_l，u}表示D_l的第u個通道的圖像中的所有圖像塊與的第u個通道的圖像中的所有圖像塊對應圖像塊之間的奇異值距離的中值；

⑦計算D_r的每個通道的圖像中的每個圖像塊與的對應通道的圖像中的對應圖像塊之間的奇異值距離，將D_r的第u個通道的圖像D_{r_u}中的第k個圖像塊與的第u個通道的圖像中的第k個圖像塊之間的奇異值距離記為du,kr=Σx=18Σy=18(w×(Sr_u_k(x,y)-Sorg_u_kr(x,y)))2,]]>然后計算R_dis的每個通道的全局失真程度值，將R_dis的第u個通道的全局失真程度值記為Q_r，u，其中，w表示失真判斷值，w=1時表示D_r的第u個通道的圖像D_{r_u}中的第k個圖像塊中坐標位置為(x,y)的像素點失真，w=0時表示D_r的第u個通道的圖像D_{r_u}中的第k個圖像塊中坐標位置為(x,y)的像素點不失真，S_{r_u_k}(x,y)表示S_{r_u_k}中坐標位置為(x,y)處的奇異值，表示中坐標位置為(x,y)處的奇異值，“||”為取絕對值符號，D_{median_r,u}表示D_r的第u個通道的圖像中的所有圖像塊與的第u個通道的圖像中的所有圖像塊對應圖像塊之間的奇異值距離的中值；

⑧根據L_dis的每個通道的全局失真程度值和R_dis的每個通道的全局失真程度值，計算S_dis相對于S_org的客觀評價尺度度量，記為Q_s，其中，b_u表示第u個通道的權重值，w_l表示在一種失真類型下左視點圖像質量在立體圖像質量中所占的權重，w_r表示在同一種失真類型下右視點圖像質量在立體圖像質量中所占的權重，w_l+w_r=1；

⑨獲取R_org的背景亮度圖像和邊緣強度圖像，分別記為bg_org和eh_org；然后根據R_org的背景亮度圖像bg_org和邊緣強度圖像eh_org，以R_org為參考圖像，獲取L_org的全局雙目恰可覺察失真閾值圖，記為將L_org的全局雙目恰可覺察失真閾值圖中坐標位置為(i,j)的像素點的全局雙目恰可覺察失真閾值記為BJNDorgl(i,j)=TC,lim(i,j′)×(1-(nr(i,j′)TC,lim(i,j′))λ)1/λ,]]>其中，j'=j+d(i,j)，d(i,j)表示L_org中坐標位置為(i,j)的像素點相對于R_org中坐標位置為(i,j)的像素點的水平視差值，L_org中坐標位置為(i,j')的像素點為通過坐標位置為(i,j)的像素點在水平方向上向右移動d(i,j)個像素點獲得，T_C，lim(i,j')表示L_org中坐標位置為(i,j′)的像素點的對比度掩蔽效應的最大失真閾值，T_C，lim(i,j′)=T_C(bg_org(i,j′))+K(bg_org(i,j′))×eh_org(i,j′)，T_C(bg_org(i,j'))表示右視點圖像在給定bg_org(i,j′)的情況下引發感知差異的最小噪聲幅值，K(bg_org(i,j'))表示依據主觀實驗結果建立的增大因子擬合函數，K(bg_org(i,j'))=-10^(-6)×(0.7×bg_org(i,j')2+32×bg_org(i,j′))+0.07，bg_org(i,j′)表示bg_org中坐標位置為(i,j')的像素點的像素值，eh_org(i,j')表示eh_org中坐標位置為(i,j′)的像素點的像素值，nr(i,j')表示R_org中坐標位置為(i,j′)的像素點上的噪聲幅值，λ為控制主觀亮度掩蔽對實驗結果影響的參數；

⑩將DD分成RGB三個通道的圖像，并將DD的第u個通道的圖像記為DD_u；將分成RGB三個通道的圖像，并將的第u個通道的圖像記為其中，u=1,2,3,u=1表示R通道，u=2表示G通道，u=3表示B通道；

將DD的RGB三個通道的圖像、的RGB三個通道的圖像分別分割成個互不重疊的尺寸大小為8×8的圖像塊，然后對DD的RGB三個通道的圖像、的RGB三個通道的圖像中的每個圖像塊進行奇異值分解，得到每個圖像塊各自對應的奇異值矩陣，將DD的第u個通道的圖像DD_u中的第k個圖像塊的奇異值矩陣記為S_{DD_u_k},將的第u個通道的圖像中的第k個圖像塊的奇異值矩陣記為其中，為向下取整符號,

計算DD的每個通道的圖像中的每個圖像塊與的對應通道的圖像中的對應圖像塊之間的奇異值距離，將DD的第u個通道的圖像DD_u中的第k個圖像塊與的第u個通道的圖像中的第k個圖像塊之間的奇異值距離記為du,kDD=Σx=18Σy=18(w′×(SDD_u_k(x,y)-Sorg_u_kl(x,y)))2,]]>然后計算S_dis相對于S_org的立體感知評價度量，記為Q_d，Qd=Σu=13bu×(1KΣk=1K|du,kDD-Dmedian_DD,u|),]]>其中，w'表示失真判斷值，w'=1時表示DD的第u個通道的圖像DD_u中的第k個圖像塊中坐標位置為(x,y)的像素點失真，w'=0時表示DD的第u個通道的圖像DD_u中的第k個圖像塊中坐標位置為(x,y)的像素點不失真，S_{DD_u_k}(x,y)表示S_{DD_u_k}中坐標位置為(x,y)處的奇異值，表示中坐標位置為(x,y)處的奇異值，“||”為取絕對值符號，b_u表示第u個通道的權重值，D_{median_DD,u}表示DD的第u個通道的圖像DD_u中的所有圖像塊與的第u個通道的圖像中的所有圖像塊對應圖像塊之間的奇異值距離的中值；

根據S_dis相對于S_org的客觀評價尺度度量Q_s和S_dis相對于S_org的立體感知評價度量Q_d，計算S_dis的總體質量評價客觀值，記為Q，Q=W_type×Q_s+(1-W_type)×Q_d，其中，W_type表示在同一種失真類型下Q_s的權重值。