[發明專利]基于視覺顯著圖像特征增強的全參考立體圖像質量客觀評價方法

有效

• 申請號: 201811109216.6
• 申請日: 2018-09-21
• 公開（公告）號: CN109523506B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 丁勇;孫光明;鄧瑞喆;周一博;孫陽陽
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 鄭海峰

本發明公開了一種基于視覺顯著圖像特征增強的全參考立體圖像質量客觀評價方法。首先，將立體圖像從RGB顏色空間轉換成YIQ顏色空間，從Y通道中提取亮度成分，得到視差圖以及視覺顯著性圖，然后對Y通道的左右視圖進行圖像融合得到中間圖像,進而提取視覺顯著增強的邊緣/紋理以及深度信息特征，進行相似性度量，得到相應的度量指標。其次，從立體圖像的I和Q通道提取相應的色彩信息特征，進行雙目融合和相似性度量，得到視覺顯著增強的色彩信息的度量指標。最后將所有的度量指標進行支持向量回歸訓練預測，得到客觀質量分數。實驗表明本發明所提出的立體圖像質量客觀評價與主觀評價具有很好的一致性，且性能優于大部分已有的立體圖像質量評價方法。

技術領域

本發明屬于圖像處理技術和計算機視覺領域，尤其涉及一種基于視覺顯著圖像特征增強的全參考立體圖像質量客觀評價方法。

背景技術

視頻和圖像在圖像采樣、壓縮、傳輸和重現過程中總會發生各種各樣的失真而使視頻和圖像的質量降低。如今人類對視頻和圖像信息的質量要求越來越高，對視頻和圖像的傳輸過程進行圖像質量的實時監測的要求也越來越迫切。而且隨著立體視頻技術的發展，對立體圖像質量進行實時檢測也變成一個亟待解決的問題。立體圖像質量評價技術在這種大環境下顯得尤為重要。由于主觀的立體圖像質量評價方法要求人類觀察者為每個圖像都要提供主觀的質量分數。這些方法耗時性和弱實時性等缺陷，不能應用到實際的端到端的視頻檢測系統當中去，所以十分有必要發展客觀有效的立體圖像質量評價方法，以實現自動、高效、客觀地評價立體圖像的質量。一個好的立體圖像質量評價方法應該具有良好的預測立體圖像質量的能力，并且與主觀測量的結果具有高度的一致性。

客觀的立體圖像質量方法根據參照物的不同可以分為三種類別：全參考、半參考和無參考。全參考立體圖像質量評價方法需要完整的原始參考圖像作為參照物來進行質量評價，半參考圖像質量評價的參照物僅有原始圖像的部分特征信息，而無參考圖像質量評價算法不需要參照物，僅對失真圖像進行分析，得到其質量分數。如果按照實驗思路劃分，立體圖像質量評價又可劃分為三類：第一類是直接將已有的2D的算法直接應用到3D圖像質量評價上；第二類為將3D獨有的深度信息考慮在內，先分別對立體圖像的左右視圖進行特征提取，再進行特征融合；第三類方法是進行雙目視覺融合后的圖像，再進行特征提取和質量分數的獲取。這三類算法中第一類最簡單，效果也最差，第三類算法架構由于符合人類大腦中的雙目視覺機制而被廣泛研究，獲得相當不錯的結果。但由于立體圖像視覺模型系統還不完善，因此立體圖像客觀質量評價依然是當今研究的熱點和難點。

發明內容

本發明公開了一種視覺顯著圖像特征增強的全參考立體圖像質量客觀評價方法。其目的是利用視覺顯著性模型，協助提取中間立體圖像的邊緣、紋理以及色彩特征，以實現對立體圖像質量的映射，完成對立體圖像質量的測定與評價。

本發明采取的技術方案是：

首先，將立體圖像對的左右視圖從RGB顏色空間轉換成YIQ顏色空間，其中對Y通道得到的灰度立體圖像對(亮度成分)進行處理得到對應的視差圖，然后分別對灰度立體圖像對的左右視圖進行圖像融合得到中間參考和失真圖像,利用基于譜殘差的視覺顯著性模型分別獲得左右視圖顯著性圖，并整合得到3D中間視覺顯著性圖,從中間參考和失真圖像提取邊緣/紋理信息特征以及從立體圖像對的視差圖中提取深度信息特征，進行相似性度量，得到視覺顯著增強的各視覺信息特征的度量指標。其次，因為色彩信息也是組成圖像的重要信息，所以對于立體圖像對的I和Q通道(色彩成分)提取相應的色彩信息特征，進行雙目融合和相似性度量，得到色彩信息的度量指標。最后將所有特征的度量指標進行支持向量回歸訓練預測，得到客觀質量分數，實現對立體圖像質量的映射，完成對立體圖像質量的評價。

本發明解決其技術問題所采用的技術方案如下：

步驟(1).輸入參考立體圖像對和失真立體圖像對，其中每個立體圖像對分別包括左視圖和右視圖圖像；