[發明專利]基于自回歸局部圖像描述的3D合成圖像質量評價方法

有效

• 申請號: 201710421612.1
• 申請日: 2017-06-07
• 公開（公告）號: CN107180427B
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 喬俊飛;栗三一;顧錁
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T15/10
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

基于自回歸局部圖像描述的3D合成圖像質量評價方法屬于圖像和視頻質量評價的方法，利用自回歸建模方法建立質量評價模型，實現對3D合成圖像的有效評價。隨著科技的進步，基于深度的圖像繪制(DIBR)技術得到越來越廣泛的應用，如自由視角視頻和3D電視等。DIBR技術可以根據已有的多視角圖像合成新視角下的圖像，從而減少自由視角視頻的拍攝費用和難度。然而合成圖像過程中難以避免產生幾何失真，目前所有的圖像質量評價方法均難以有效評價幾何失真圖像。實驗結果表明，通過計算合成圖像與回歸模型之間的重構誤差可以有效識別幾何失真。本發明填補了DIBR圖像無參考質量評價技術方面的空白，促進了3D技術的發展。

技術領域

本發明屬于圖像和視頻質量評價的方法，利用自回歸建模方法建立質量評價模型，實現對3D合成圖像的有效評價。

背景技術

二十一世紀以來，圖像和視頻逐漸成為人們獲取信息、溝通交流的重要途徑，全世界每年產生數百億張數字照片和數億段視頻，而伴隨著3G技術的普及和4G時代的開啟，基于3D技術的虛擬現實等全視角視頻是科技發展的必然趨勢。在制作自由視角視頻過程中，需要使用基于深度的圖像繪制(DIBR)技術，根據臨近的多個視角圖像產生新的視角下的圖像。DIBR技術生成合成圖像主要分為兩步：首先通過每個像素的深度信息在3D空間重新產生新的結構信息；然后將3D空間點延伸到2D像平面產生虛擬照相機，通過虛擬照相機產生新視角下的圖像。DIBR技術的應用可以有效減少自由視角視頻拍攝過程中使用攝像機的數量，降低視頻拍攝難度，但合成圖像的過程中不可避免會產生幾何畸變。幾何畸變與自然圖像中發生的畸變(如模糊、塊效應和細節丟失等)具有不同的特征，嚴重的幾何畸變會降低多視角視頻的觀看效果。因此，需要一種圖像質量評價方法有效識別DIBR圖像中的幾何畸變。

目前已有的質量評價方法可以有效識別自然圖像(多重失真圖像、紅外圖像、立體圖像等)中的畸變，對DIBR合成圖像中的幾何畸變評價效果并不理想。研究發現自然圖像臨近像素間存在漸變性，即自相似性，而幾何失真會破壞這種自相似性。基于此本發明使用自回歸方法對圖像建立局部自回歸模型，通過計算合成圖像與回歸模型之間的重構誤差識別幾何失真。本發明在評價DIBR合成圖像時不需要無失真圖像信息，是一種無參考質量評價方法，實際應用過程中通常無失真圖像是不可能得到的，因此本發明完全符合實際應用需求。DIBR合成圖像的無參考質量評價方法目前尚無人研究，本發明填補了這一方向的空白，對DIBR合成圖像的評價提供有效的方法。

發明內容

本發明依據建立自回歸模型提出一種DIBR合成圖像評價方法，可以有效識別合成圖像中的失真畸變。通過IRCCyN/IVC數據庫中的96副圖片對該方法進行驗證，實驗結果表明，本發明對合成圖像的評價效果明顯高于已有的圖像質量評價方法，皮爾遜線性相關性系數(PLCC)、斯皮爾曼排序相關性系數(SRCC)和肯德爾排序相關性系數(KRCC)分別達到0.7307、0.7157和0.5766，均優于已有的算法(最好效果分別為0.6772、0.6634和0.5382)，并且評價的均方根誤差(RMSE)由最低的0.4899進一步降低到0.4546。本發明在質量評價效果和效率方面都有明顯提高。

基于自回歸局部圖像描述的3D合成圖像質量評價方法，其特征在于包括以下步驟：

第一步、建立自回歸模型；

第二步、計算自回歸參數；

第三步、計算圖像與自回歸模型預測值之間的誤差；

第四步、二值化誤差，將誤差根據閾值變為0和1；

第五步、根據二值化誤差計算圖像質量得分；

第一步中：

自回歸模型建立方法如下：

對于圖像I中一個像素，定義其位置指標為i，值為z_i，則構造該像素與其周邊像素的關系為：