[發(fā)明專利]基于視覺顯著圖像特征增強(qiáng)的全參考立體圖像質(zhì)量客觀評價(jià)方法

有效

• 申請?zhí)枺?/td>: 201811109216.6
• 申請日: 2018-09-21
• 公開（公告）號(hào): CN109523506B
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 丁勇;孫光明;鄧瑞喆;周一博;孫陽陽
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 鄭海峰

1.一種基于視覺顯著圖像特征增強(qiáng)的全參考立體圖像質(zhì)量客觀評價(jià)方法，其特征在于包括以下步驟：

步驟(1).輸入?yún)⒖剂Ⅲw圖像對和失真立體圖像對，其中每個(gè)立體圖像對分別包括左視圖和右視圖圖像；

步驟(2).對步驟(1)中的立體圖像對的色彩空間進(jìn)行轉(zhuǎn)換，從RGB色彩空間轉(zhuǎn)化為YIQ色彩空間，其中Y通道表明圖像的灰度成分，I和Q表示圖像的色彩成分；具體的轉(zhuǎn)換公式如下所示：

步驟(3).構(gòu)建Log Gabor濾波器模型，對步驟(2)中通過Y通道得到的灰度立體圖像對進(jìn)行卷積運(yùn)算處理，分別得到參考和失真立體圖像對中左右視圖的能量響應(yīng)圖；

Log Gabor濾波器h_LG的表達(dá)式如下：

其中，f₀和θ₀表示Log Gabor濾波器的中心頻率和方位角，σ_θ和σ_f分別代表濾波器的方位角帶寬和徑向帶寬，f和θ分別代表濾波器的徑向坐標(biāo)和方位角；

將Log Gabor濾波器與參考和失真立體圖像對中左右視圖進(jìn)行卷積后，得到相應(yīng)的能量響應(yīng)圖F(x,y)，表達(dá)式如下：

其中，I(x,y)為參考和失真立體圖像對灰度成分的左視圖或右視圖，為卷積運(yùn)算；

步驟(4).對步驟(2)得到的灰度參考立體圖像對和失真立體圖像對分別提取視差圖D_ref(x,y)和D_dis(x,y)，對步驟(2)得到的灰度參考立體圖像對的左右視圖利用基于譜殘差的顯著性模型分別提取左右顯著性圖SL_sr(x,y)和SR_sr(x,y)；

步驟(5).構(gòu)建3D視覺顯著性圖S_3D(x,y)，具體的表達(dá)式如下：

S_3D(x,y)＝ω₁×SL_sr(x,y)+ω₂×SR_sr(x,y)+ω₃×CB(x,y)+ω₄×D_ref(x,y) (5-2)

其中ω₁-ω₄為不同的權(quán)重因子，CB(x,y)表示中心點(diǎn)偏移機(jī)制；

步驟(6).將步驟(2)得到的灰度立體圖像對的右視圖按照步驟(4)中獲得的視差圖的視差值進(jìn)行像素點(diǎn)的水平右移，構(gòu)造和左視圖像素坐標(biāo)對應(yīng)的校準(zhǔn)右視圖I_R((x+d),y)，然后基于步驟(3)所述的Log Gabor濾波器模型可以得到左視圖和校準(zhǔn)右視圖的能量響應(yīng)圖，計(jì)算歸一化的左視圖權(quán)重圖W_L(x,y)和校準(zhǔn)右視圖權(quán)重圖W_R((x+d),y),具體表達(dá)式如下：

其中，F(xiàn)_L(x,y)和F_R((x+d),y)分別為步驟(3)得到的左視圖和校準(zhǔn)右視圖的能量響應(yīng)圖，d為步驟(4)計(jì)算得到的視差圖D_ref(x,y)中對應(yīng)坐標(biāo)的視差值；

步驟(7).基于步驟(2)中的灰度參考和失真立體圖像對的左視圖和步驟(6)得到的參考和失真立體圖像對的校準(zhǔn)右視圖以及歸一化的左視圖權(quán)重圖和校準(zhǔn)右視圖權(quán)重圖，利用雙目視圖融合模型實(shí)現(xiàn)對立體圖像的圖像融合，分別得到參考的和失真的中間圖像；雙目視圖融合的公式如下：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y) (7-1)

其中，CI(x,y)即是雙目視圖融合后的中間圖像，I_L(x,y)和I_R((x+d),y)分別為灰度立體圖像對的左視圖和校準(zhǔn)右視圖；

步驟(8).對步驟(7)得到的中間灰度參考和失真圖像分別提取邊緣和紋理特征；

邊緣信息特征的提取：將Sobel算子與被測圖像進(jìn)行卷積處理，得到包含邊緣輪廓信息的梯度圖，利用Sobel算子提取中間參考和失真圖像的邊緣信息特征的表達(dá)式如下：

其中，f(x,y)為中間參考或失真圖像，為卷積運(yùn)算，G_x和G_y是3×3的Sobel水平模板和垂直模板，分別用來檢測圖像的水平邊緣和垂直邊緣，模板表達(dá)式如下：

紋理信息特征的提取：采用局部二值模式LBP，LBP的表達(dá)式如下：

其中，g_c是圖像的中心像素點(diǎn)的灰度值，g_p是圖像的相鄰像素點(diǎn)的灰度值，從中心像素點(diǎn)的正右方逆時(shí)針旋轉(zhuǎn)依次為0,1,2…P，x和y代表中心像素點(diǎn)的坐標(biāo)值，P表示相鄰像素點(diǎn)的個(gè)數(shù)，sgn(x)是階躍函數(shù)；

步驟(9).將步驟(8)提取的中間參考和失真圖像的視覺信息特征和步驟(5)建立的視覺顯著性圖進(jìn)行逐像素點(diǎn)的相乘，得到視覺顯著性增強(qiáng)的視覺信息特征，具體表達(dá)式如下：

GM_SR(x,y)＝GM_R(x,y)*S_3D(x,y) GM_SD(x,y)＝GM_D(x,y)*S_3D(x,y) (9-1)

TI_SR(x,y)＝TI_R(x,y)*S_3D(x,y) TI_SD(x,y)＝TI_D(x,y)*S_3D(x,y) (9-2)

其中，GM_R(x,y)和TI_R(x,y)分別是中間參考圖像的邊緣和紋理特征信息，GM_D(x,y)和TI_D(x,y)分別是中間失真圖像的邊緣和紋理特征信息；S_3D為步驟(5)得到的整合后的視覺顯著性圖；

步驟(10).對步驟(9)中提取的顯著性增強(qiáng)的視覺信息特征進(jìn)行相似性度量，表達(dá)式如下：

其中，GM_SR(x,y)和TI_SR(x,y)表示中間參考圖像的顯著性增強(qiáng)的邊緣和紋理信息特征，GM_SD(x,y)和TI_SD(x,y)表示中間失真圖像的顯著性增強(qiáng)的邊緣和紋理信息，和分別為中間參考/失真圖像的顯著性增強(qiáng)的邊緣和紋理信息特征的均值，M和N表示圖像的長和寬的像素點(diǎn)個(gè)數(shù)，Index₁和Index₂分別代表邊緣和紋理信息特征的相似性度量指標(biāo)；

步驟(11).從步驟(2)中通過I和Q通道得到的色彩立體圖像對中提取色彩信息特征，分別對色彩立體圖像的左右視圖進(jìn)行相似性度量，得到相應(yīng)通道下的色彩相似性圖，表達(dá)式如下：

其中，IL_R(x,y)和QL_R(x,y)表示參考立體圖像對左視圖的I通道和Q通道下的色彩信息圖，IL_D(x,y)和QL_D(x,y)表示失真立體圖像對左視圖的I通道和Q通道下的色彩信息圖，SI_L(x,y)和SQ_L(x,y)分別表示立體圖像對左視圖的I通道和Q通道下的色彩相似性圖，右視圖的色彩相似性圖得到的方法與左視圖色彩相似性圖一致，T₁和T₂為常數(shù)，防止分母為零；

步驟(12).將步驟(11)得到的左右視圖的色彩相似性圖按照步驟(6)和(7)的融合方法進(jìn)行雙目融合，得到中間I通道和Q通道的色彩相似性圖SI(x,y)和SQ(x,y)；

步驟(13).將步驟(12)得到的中間參考和失真圖像的I通道和Q通道的色彩相似性圖和步驟(5)建立的立體視覺顯著性圖進(jìn)行逐像素點(diǎn)的相乘，得到視覺顯著性增強(qiáng)的色彩信息顯著性圖，進(jìn)而得到I通道和Q通道的色彩相似性度量指標(biāo)Index₃和Index₄，具體表達(dá)式如下：

其中，M和N表示圖像的長和寬的像素點(diǎn)個(gè)數(shù)；

步驟(14).利用步驟(4)得到的參考立體圖像對和失真立體圖像對的視差圖提取深度特征信息，并對失真立體圖像對的視差圖的失真程度做出度量；采用像素域誤差的方法提取參考和失真立體圖像對的深度特征信息的相似性，作為反映失真立體圖像對在視差圖上質(zhì)量失真程度的指標(biāo)，表達(dá)式如下：

其中，D_ref(x,y)代表參考圖像的視差圖，D_dis(x,y)代表失真圖像的視差圖，mean()是均值函數(shù)，Index₅表示深度特征信息的相似性度量指標(biāo)；

步驟(15).整合步驟(10)，(13)和(14)中得到的5個(gè)視覺相關(guān)的度量指標(biāo)Index₁-Index₅，訓(xùn)練支持向量回歸SVR模型，映射為圖像質(zhì)量的客觀評價(jià)分?jǐn)?shù)。