[發(fā)明專利]基于空洞卷積的立體圖像質量評價方法

在審

• 申請?zhí)枺?/td>: 202010761341.6
• 申請日: 2020-07-31
• 公開（公告）號: CN111915589A
• 公開（公告）日: 2020-11-10
• 發(fā)明（設計）人: 李素梅;趙平
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

本發(fā)明屬圖像處理領域，為提出一種多尺度的立體圖像質量評價方法。充分表征圖像。為此，本發(fā)明采取的技術方案是，基于空洞卷積的立體圖像質量評價方法，首先通過融合算法將左右視圖處理為融合圖，將其作為所搭建的多尺度卷積神經(jīng)網(wǎng)絡模型的輸入，網(wǎng)絡有三個多尺度單元，每個多尺度單元對圖像進行三種不同尺度的特征提取，并將三種不同尺度的特征融合；三個多尺度單元級聯(lián)，組成網(wǎng)絡的主體，最終通過全局池化層與全連接層得到立體圖像質量預測分數(shù)。本發(fā)明主要應用于圖像處理場合。

技術領域

本發(fā)明屬圖像處理領域，涉及到深度學習在立體圖像質量評價中的應用與優(yōu)化，以及人腦信息處理過程中的多尺度效應和人眼視覺特性在立體圖像質量客觀評價中的應用。

背景技術

立體成像技術是當今人類獲取視覺信息的主要方式之一。如今，立體成像技術逐步發(fā)展，在影視、教育、傳媒、虛擬現(xiàn)實技術等領域都起了至關重要的作用。立體成像技術的廣泛應用使得立體圖像質量評價技術受到越來越多的關注[1]。在圖像處理過程中，由于壓縮、傳輸、編碼或解碼等操作，圖像的質量或多或少地通過圖像傳輸通道下降。因此，有必要對圖像的質量退化進行識別和評價。有效的立體圖像質量評價技術不僅可以高效、準確地提供立體圖像的質量分數(shù)，而且還可以指導立體圖像處理和顯示技術的發(fā)展。

與二維圖像質量評價類似，立體圖像質量評價方法可以分為兩類：人工觀察的主觀評估和機器算法的客觀評估。由于人眼是圖像的最終接受者，主觀評價被認為是評價圖像感知質量最可靠的方法。但主觀評價方法費時費力，且極不方便。因此，近年來，客觀評價方法越來越受到人們的關注。

根據(jù)參考圖像的可用性，立體圖像質量評價算法也大致可以分為三類。第一類是全參考評價方法[2-7]。文獻[1]中對雙目空間敏感圖進行建模，并在此基礎上提出了將雙目空間敏感圖納入質量評價的框架來估計立體圖像的質量。文獻[4]首先從訓練數(shù)據(jù)庫中學習多尺度字典，然后根據(jù)估計的稀疏系數(shù)向量計算稀疏特征相似度指數(shù)和全局亮度相似度指數(shù)，最后，采用基于稀疏能量和稀疏復雜度的雙目組合得到最終的質量分數(shù)。第二種就是半?yún)⒖荚u價方法[8-11]。文獻[9]提出了一種基于分裂歸一化圖像表示的RR-IQA算法，該算法被認為是一種成功的生物視覺感知敏感性建模方法。第三種是無參考評價方法[12-18]。文獻[12]中提出了一種無參考的評價方法，分別從左右視圖中提取顯著性和紋理信息，然后將提取的特征結合起來得到質量分數(shù)。由于在實際中獲取參考圖像并不容易，因此NR-SIQA得到了研究者的廣泛研究。因此，本發(fā)明提出了一種NR-SIQA方法。