[發明專利]一種基于深度神經網絡的無參考立體圖像質量評價方法

有效

• 申請號: 201810375052.5
• 申請日: 2018-04-24
• 公開（公告）號: CN108391121B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 陳志波;周瑋;李衛平
• 申請（專利權）人: 中國科學技術大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/106;G06T7/00
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

本發明公開了一種基于深度神經網絡的無參考立體圖像質量評價方法，該方法通過考慮人眼視覺系統的多層結構中左右視之間融合和視差信息的交互原則，使用基于端到端雙流交互的深度神經網絡的無參考3D立體圖像質量評價算法，將左右視失真圖像塊同時輸入雙流深度神經網絡結構，判別特征提取和回歸學習被結合成一個端到端的優化過程，從而達到有效預測失真立體圖像感知質量的目的。

技術領域

本發明涉及深度學習技術領域，尤其涉及一種基于深度神經網絡的無參考立體圖像質量評價方法。

背景技術

隨著3D多媒體技術包括3D電影等的快速普及與發展，3D立體圖像已經逐漸進入人們的日常生活中，觀看3D立體圖像能夠產生一種2D圖像所缺少的浸入式視覺體驗。同時，由于這種額外的深度感知和左右視圖像之間存在的非對稱失真，使得評估3D立體圖像質量更具有挑戰性，即在設計3D立體圖像質量評價算法時需要考慮更為復雜的雙目視覺機制。

早期的全參考3D立體圖像質量評價算法源于2D圖像質量評價方法，例如文章[1](A.Benoit,P.Le Callet,P.Campisi,and R.Cousseau.Quality assessment ofstereoscopic images.EURASIP journal on image and video processing,2008(1):659024,2009)，以及文章[2](J.You,L.Xing,A.Perkis,and X.Wang.Perceptual qualityassessment for stereoscopic images based on 2D image quality metrics anddisparity analysis.In Proc.of International Workshop on Video Processing andQuality Metrics for Consumer Electronics,Scottsdale,AZ,USA,2010)均是在左右視上分別使用2D圖像質量評價算法并綜合深度信息計算得到最終的立體圖像。然而，由于在評估立體圖像質量時需要考慮雙目視覺機制，這些針對2D圖像的深度學習方法并不適用于立體圖像質量評價。

后來更復雜的算法提出需要考慮人眼視覺系統的雙目視覺特性，例如對比度掩蔽效應[3](P.Gorley and N.Holliman.Stereoscopic image quality metrics andcompression.In Proc.SPIE,volume 6803,page 680305,2008)和雙目結合行為[4](Y.-H.Lin and J.-L.Wu.Quality assessment of stereoscopic 3D image compression bybinocular integration behaviors.IEEE transactions on Image Processing,23(4):1527–1542,2014)。

由于實際場景中原始未失真立體圖像通常不能夠獲得，因此需要提出無參考3D立體圖像質量評價算法，這些算法包括針對特定失真類型的以及一般意義上的質量評價算法，主要是基于人眼視覺特征和自然場景統計等從失真立體圖像中手工提取判別特征，然后通過回歸學習模型如支持向量回歸(Support Vector Regression)來評價立體圖像的感知質量。其中一般意義上的無參考立體圖像質量評價算法如文章[5](M.-J.Chen,L.K.Cormack,and A.C.Bovik.No-reference quality assessment of naturalstereopairs.IEEE Transactions on Image Processing,22(9):3379–3391,2013)更為普適。