[發明專利]基于多尺度雙目融合和局部特征提取的立體圖像質量客觀評價方法

有效

• 申請號: 201710312232.4
• 申請日: 2017-05-05
• 公開（公告）號: CN107330873B
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 丁勇;趙楊;孫陽陽;孫光明
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/593;G06T5/50
• 代理公司: 33200 杭州求是專利事務所有限公司
• 代理人: 鄭海峰

本發明公開了一種基于多尺度雙目融合和局部特征提取的立體圖像質量客觀評價方法。本發明包括如下步驟：1.利用視差估計和雙目融合方法，分別將待測試的立體圖像對和對應的參考圖像對合成一張圖像。2.對二者的合成圖像分別使用局部二值模式進行特征提取。3.以二者的特征的相似性作為輸入，質量分數作為輸出，利用支持向量機進行訓練，根據圖像已知的主觀質量評價得分，得到能夠客觀評價立體圖像質量的數學模型。本發明高效、準確地提取了立體圖像中與圖像質量有關的特征，實現了客觀評價立體圖像質量的功能，且基于本發明所提出方法的立體圖像質量評價結果與人眼的主觀判斷具有很好的一致性。

技術領域

本發明屬于圖像處理領域，涉及一種基于多尺度雙目融合和局部特征提取的立體圖像質量客觀評價方法。

背景技術

立體(stereoscopic/3D)圖像是指通過對人的左右眼輸入不同的視覺信號，使人腦的視覺皮層圖像中物體的深度信息的技術。隨著3D顯示技術近年來的蓬勃發展，在工程中和人們的實際生活中，產生了對高質量立體圖像和視頻的廣泛需求。但是，立體圖像在獲取、壓縮、傳輸、存儲和重建等各個環節中會引入失真。因此，定量評價立體圖像的質量就成為評測和監控立體圖像處理系統的性能的重要手段，而且，立體圖像質量評價(Stereoscopic Image Quality Assessment, SIQA)可以為立體圖像處理系統的設計提供必要的反饋和指導。

立體圖像質量評價技術，是指以人類視覺系統(Human Visual System,HVS) 對圖像質量的感知為基準，對圖像的質量好壞進行定量的判斷和評測。SIQA可以分為主觀評價方法和客觀評價方法。由于主觀評價方法是通過人工對圖像的質量進行打分評測，非常費力耗時，而且受主觀因素影響比較大，重復性差，所以無法嵌入到實時的圖像視頻處理系統中，也難以作為定性分析圖像質量的手段。因此，研究便捷高效的客觀評價方法具有更強的應用價值和理論意義。立體圖像質量的客觀評價是通過建立數學模型實現自動地對圖像質量進行評價。相比之下，客觀評價方法具有高效、可重復性強和魯棒性好等特點。

立體圖像客觀質量評價方法的設計需要考慮至少兩個方面的因素。一方面，需要從圖像中提取與質量感知相關的特征，如結構信息、紋理信息等；另一方面，需要考慮由雙眼視覺信號的差異所引起的雙目競爭、視覺疲勞等可能影響HVS 對圖像質量感知的因素。

發明內容

本發明主要包括：基于左右視差圖和Gabor濾波器實現的左右視圖圖像融合技術、基于局部二值模式的局部紋理特征提取技術和基于支持向量機的機器學習技術等來實現對立體圖像質量的數學建模，進而提出一種針對立體圖像的客觀的質量評價方法。

本發明采取的技術方案是：

首先，讀取大量帶有參考圖像信息和主觀質量評價結果的立體圖像。隨后，對每一張圖像，使用多尺度圖像融合技術對圖像的左右視圖進行融合，并用局部二值模式對融合后的圖像進行特征提取。進而，對該測試圖像的參考圖像也進行同樣的操作，對從測試圖像及其參考圖像中提取到的特征進行相關性度量。最后，對每張圖像，將每一個尺度上得到的度量結果和圖像的主觀質量評價結果形成映射，對讀取的所有圖像，使用支持向量機訓練出一個回歸函數。

本發明解決其技術問題所采用的技術方案如下：

步驟(1).讀取大量立體圖像以備之后的回歸函數訓練。每一幅立體圖像由一個左視圖和一個右視圖組成。對每一幅立體圖像，同時需要它的參考圖像(即該立體圖像的對應未失真立體圖像)和它的主觀質量評價結果(以一個數字表示)。

步驟(2).對步驟(1)中讀取的每一幅立體圖像及其參考圖像，都進行步驟(3) 到步驟(7)的操作。