[發明專利]一種面向視角合成的無參考圖像質量評價方法

有效

• 申請號: 201711399720.X
• 申請日: 2017-12-22
• 公開（公告）號: CN107977967B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 李雷達;周玉;盧兆林
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 楊曉玲

本發明提出一種面向視角合成的無參考圖像質量評價方法，該方法通過分析兩類失真的特性，設計特征來量化合成圖像中的失真：首先對圖像的邊緣破壞帶來的失真以及紋理的不自然性進行量化，提取相應特征。然后使用機器學習的方法將特征進行整合，從而訓練出能夠對整個合成過程帶來的失真進行評價的質量評價模型。本發明克服了現有方法的兩個缺點：(1)現有方法僅能夠評價合成過程中的一類失真，而該方法能夠有效評價整個合成過程中的兩類失真。(2)現有的方法大部分是全參考方法，即他們必須在提供原始無失真圖像的情況下，才能對失真圖像進行質量評價，而本文方法是無參考方法，具有更加廣泛的應用前景。

技術領域

本發明涉及虛擬視角合成的客觀視覺質量評價方法，尤其是一種面向視角合成的無參考圖像質量評價方法。

背景技術

視角合成是利用紋理圖像和深度圖像來合成新的視角圖像。視角合成技術在多視角視頻、自由視角電視等領域有非常廣泛的應用[1]。對合成的視角的質量評價能夠定量評價視角合成技術的好壞，也能夠被用來優化合成技術。此外，對視角合成圖像的質量評價直接影響這些應用的成功與否。所以，面向視角合成的質量評價具有重要意義。

合成視角中的失真主要分為兩類。第一類是在獲取，處理和傳輸紋理圖像和深度圖像過程中帶來的傳統失真；第二類是在視角繪制過程中空洞填補過程帶來的繪制失真。現有的針對視角合成圖像的質量評價方法都是針對其中單獨一類失真進行設計的。針對第一類失真，現有的算法有：1.Ryu等人[2]首先利用傳統質量評價方法和合成容忍度方法分別對紋理圖像和深度圖像進行質量評價，分別得到兩個質量分數。最后將兩個分數進行加權得到整幅合成圖像的質量分數；2.Wang等人[3]首先計算合成圖像和原始無失真圖像的紋理圖相似性圖像和深度圖相似性圖像；然后利用紋理信息圖對深度相似性圖像進行歸一化；最后，將歸一化后的深度相似性圖像和紋理相似性圖像結合來產生合成圖像的質量分數。針對第二類失真，現有的方法為：Bosc等人[4]首先構建了一個視角合成圖像庫，并在SSIM算法的基礎上提出了一種改進型質量評價方法。該圖像庫包含7種DIBR算法進行視角合成的圖像；在質量評價時僅對原始視角的紋理圖像和合成圖像中對應的邊緣區域利用SSIM評價，最后將SSIM均值作為最終的質量分數；Conze等人[5]首先采用SSIM算法計算合成圖像和原始紋理圖像之間的失真圖，然后根據紋理復雜度、梯度方向和對比度計算三個加權圖，最后利用加權圖對失真圖進行加權處理，從而得到質量分數。張艷等[6]針對視角合成圖像中邊緣的失真往往更為明顯的特點，通過分析合成圖像和原始圖像的像素差異，并對邊緣像素賦予較高權重，進而得到最終質量分數；Stankovic等[7]提出利用形態學小波對原始圖像和合成圖像進行多級分解，并在多個細節子帶上計算均方誤差，在此基礎上進一步計算多尺度峰值信噪比并將其作為質量分數；Battisti等[8]提出的算法首先對參考圖像和合成圖像進行分塊，運用運動估計算法進行匹配；對匹配后的圖像塊進行小波變換并計算系數直方圖，利用Kolmogorov-Smirnov距離描述合成圖像的失真程度；Jung等[9]首先用合成后的左右視角圖像和視差圖檢測主要失真區域；然后對兩個視角的失真區域計算SSIM分數，最后對左右視角的SSIM分數進行平均作為最終的質量分數。該方法側重于合成過程中的左右視角不對稱對合成質量的影響。Li等人[10]提出了一種基于局部幾何失真和全局清晰度的視角合成圖像質量評價。首先，檢測出空洞區域，然后將空洞區域的大小和強度結合計算出局部幾何失真分數；然后，利用再次模糊的方法計算出圖像的全局清晰度分數。最后，將兩個分數相結合生成合成圖像的質量分數。Gu等人[11]提出了一種基于自回歸模型的合成圖像質量評價方法。該方法首先計算出合成圖像的自回歸圖像，然后利用合成圖像和自回歸圖像的差異來提取幾何失真區域。采用一個閾值，將兩幅圖像的差值圖像變換為二值圖像。最后，二值圖像和預測出來的自然圖像之間的相似性數值被最為合成圖像的質量分數。