[發(fā)明專利]基于顯著自適應(yīng)的視覺舒適預(yù)測及非線性映射的視覺舒適增強(qiáng)方法

有效

• 申請?zhí)枺?/td>: 201410766071.2
• 申請日: 2014-12-11
• 公開（公告）號: CN104469355A
• 公開（公告）日: 2015-03-25
• 發(fā)明（設(shè)計(jì)）人: 鄭喆坤;劉紅民;王帥;崔玉;金重圭;尹仁龍;權(quán)炳賢
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/00
• 代理公司: 西安吉盛專利代理有限責(zé)任公司 61108
• 代理人: 張恒陽

技術(shù)領(lǐng)域

本發(fā)明屬于3D立體顯示技術(shù)領(lǐng)域，涉及一種視覺舒適預(yù)測及增強(qiáng)的方法，可用于對舒適度要求較高的立體顯示中，具體是一種基于顯著自適應(yīng)的視覺舒適預(yù)測及非線性映射的視覺舒適增強(qiáng)方法。

背景技術(shù)

隨著3D立體顯示技術(shù)的飛速發(fā)展，人們可以身臨其境地體驗(yàn)3D帶來的視覺上與感知上的雙重沖擊。但是在立體觀看過程中存在一些至關(guān)重要的問題，如：視覺不舒適，視覺疲勞等。為了立體顯示技術(shù)的廣泛使用，給觀看者創(chuàng)造一個舒適安全的觀看環(huán)境顯得很有必要。引起視覺不舒適的因素有很多，包括過度視差、左右圖像的不匹配、深度信息的沖突等。而過度視差由于我們的雙眼很難融合，因而最容易引起視覺不舒適。

傳統(tǒng)的視覺舒適度可客觀評價方法主要是基于全局的視差統(tǒng)計(jì)特征來預(yù)測視覺舒適度，如整幅視差圖像的均值、方差、分布范圍等特征。然而，根據(jù)人眼立體視覺注意力特性，人眼只對部分視覺重要區(qū)域的視覺舒適/不舒適比較敏感，如果以全局的視差統(tǒng)計(jì)特征來預(yù)測視覺重要區(qū)域的視覺舒適程度，會導(dǎo)致無法精確預(yù)測得到的客觀評價值。

Sohn?H、Jung?Y?J和Lee?S等人在IEEE?Transactions?on?Broadcasting上名為“Predicting?visual?discomfort?using?object?size?and?disparity?information?in?stereoscopic?images”的論文中提出了一種相對視差和前景對象尺寸的立體圖像視覺舒適度客觀評價方法，該方法首先利用mean-shift分割方法對視差圖進(jìn)行分割，有效地提取出對象的輪廓，然后計(jì)算到鄰近對象間的相對視差和前景對象的尺寸，并將其作為舒適度感知特征，最后結(jié)合傳統(tǒng)的?全局視差統(tǒng)計(jì)特征，可以較大程度地提高視覺舒適預(yù)測的準(zhǔn)確性。然而，該方法沒有考慮空間頻率特征對人眼深度感知的影響，也沒有考慮立體視覺顯著區(qū)域?qū)σ曈X舒適評價的影響。

2013年在名為“一種立體圖像視覺舒適度評價方法”的NO.CN103581661A專利中提出了一種立體圖像視覺舒適度評價方法，該方法首先通過提取右視點(diǎn)圖像的顯著圖和右視差圖像的深度顯著圖，得到右視點(diǎn)圖像的立體顯著圖，然后根據(jù)立體顯著圖加權(quán)提取出視差幅度、視差梯度和空間頻率特征，得到立體圖像的特征矢量，再利用支持向量回歸對立體圖像集合中的所有立體圖像的特征矢量進(jìn)行訓(xùn)練，最后利用訓(xùn)練得到的支持向量回歸訓(xùn)練模型對立體圖像集合中的每幅立體圖像進(jìn)行測試，得到每幅立體圖像的客觀視覺舒適度評價預(yù)測值。該方法的優(yōu)點(diǎn)是獲得的立體圖像的特征矢量信息具有較強(qiáng)的穩(wěn)定性且能夠較好地反映立體圖像的視覺舒適度變化情況，從而有效地提高了客觀評價結(jié)果與主觀感知的相關(guān)性。然而，獲得的立體顯著圖是線性疊加了圖像顯著圖和深度顯著圖，這種傳統(tǒng)的線性疊加方法不僅弱化了圖像的顯著信息，并且會引入一些本來不顯著的區(qū)域，較大程度地改變了原始圖像的視差范圍。在此基礎(chǔ)上得到的提取的視差特征矢量，不能較好地表征原圖像的舒適度范圍，不能夠準(zhǔn)確地預(yù)測圖像的舒適度。

傳統(tǒng)的用于改善視覺不舒適的方法主要是通過調(diào)整視差，調(diào)整的方法主要分為兩大類：一個是視差縮放；另一個是視差平移。

Holliman?N在SPIE上名為“Mapping?perceived?depth?to?regions?of?interest?in?stereoscopic?images”的論文中提出了通過視差縮放來調(diào)整視差，該方法是通過縮放原圖像的視差范圍到一個相對舒適的目標(biāo)區(qū)域，進(jìn)而減少3D立體顯示中的視覺不舒適。這種方法的缺點(diǎn)是，經(jīng)過縮放后的圖像尺寸會?相應(yīng)的減小，如果采用簡單的線性差值可以擴(kuò)充到原圖像的大小，但是圖像的整體質(zhì)量會下降。

Xu?D、Coria?L?E和Nasiopoulos?P等人在IEEE?International?Conference?on?Consumer?Electronics上名為“Quality?of?experience?for?the?horizontal?pixel?parallax?adjustment?of?stereoscopic?3D?videos”的論文中提出了視差平移方法，是通過水平平移左右視點(diǎn)的圖像來調(diào)整視差，可以保持原圖像的視差范圍。這種方法由于較低的算法復(fù)雜度被廣泛應(yīng)用。然而，當(dāng)原圖像的視差范圍超過了確定的視覺舒適區(qū)，用這種方法減少視覺不舒適的效果將會不明顯。

發(fā)明內(nèi)容