[發(fā)明專利]基于卷積神經網絡的立體圖像舒適度評價方法

在審

• 申請?zhí)枺?/td>: 201810143049.0
• 申請日: 2018-02-11
• 公開（公告）號: CN108389192A
• 公開（公告）日: 2018-08-10
• 發(fā)明（設計）人: 李素梅;秦龍斌;朱兆琪;侯春萍
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

本發(fā)明屬于圖像處理領域，為提出采用基于卷積神經網絡的立體圖像舒適度評價方法得到圖像的評價分數，更好的擬合人類對立體圖像主觀評價值，能很好的對立體圖像舒適度進行預測。為此，本發(fā)明采用的技術方案是，基于卷積神經網絡的立體圖像舒適度評價方法，將立體圖像的左視圖、右視圖和視差圖的信息合成為一幅圖像作為網絡的輸入，通過卷積神經網絡模擬人類感知來對所得圖像進行處理，經訓練得到權重系數，最后利用人眼視覺顯著特性將圖像塊舒適值加權作為整體圖像的舒適度值。本發(fā)明主要應用于圖像處理。

技術領域

本發(fā)明屬于圖像處理領域，涉及立體圖像舒適度客觀評價方法改進優(yōu)化。具體講,涉及基于卷積神經網絡的立體圖像舒適度評價方法。

背景技術

立體圖像在采集、壓縮、儲存、傳輸和顯示等過程中由于受到外界的干擾，導致圖像的降質，嚴重影響人們的觀看體驗。因此，對立體圖像的舒適度進行評價是目前立體成像技術領域亟待解決的主要問題之一。

全參考立體圖像質量評價在整個客觀立體圖像質量評價中具有非常重要的地位。有很多優(yōu)秀的全參考立體圖像質量評價算法被提出，它們大致可以分為兩類。第一類評價方法的思想是基于最新的2D質量評價方法來評價3D圖像質量。經典的2D像質量評價方法主要有峰值信噪比(PeakSignal-Noise Ratio，PSNR)、結構相似度(Structural Similarity，SSIM)、平均結構相似度(Mean SSIM，MSSIM)、視覺信噪比(Visual Signal-Noise Ratio，VSNR)、視覺信息保真度(Information Fidelity Criterion，VIF)等，把這些方法應用到立體圖像對中，最后取左、右圖像分數的平均值。第二類評價方法是將立體圖像的視差圖或深度圖以不同的方式結合在算法框架中。如Benoit等[1]提出結合深度信息，利用4種平面圖像質量評價算法，把左右圖像質量和視差圖像質量進行線性組合，評價立體圖像，其評價結果與主觀感知結果的一致性有待提高；You等[2]通過3種不同的方法，用左圖像質量和視差圖像質量的非線性組合來評價立體圖像質量；Hewage等[3]通過提取深度圖的邊緣信息和與之對應的彩色信息，設計了一種彩色深度的立體視頻質量評價方法；Chen等[4]對左右圖像預處理，然后與視差圖合成一幅圖像，并且用SSIM算法進行全參考評價；段芬芳等[5]提取原始和失真圖像水平、垂直和視點方向的梯度信息及敏感區(qū)域，構造每個像素點的三維結構張量矩陣，最后通過特征值和特征向量預測評價質量。這些方法都從一定的角度構建了全參考立體圖像質量評價指標，取得了一定進展，但評價指標還可以進一步提高。2011年后，深度學習網絡，特別是卷積神經網絡快速發(fā)展。卷積神經網絡(convolutional neuralnetwork,CNN)是最近幾年才發(fā)展起來的一種前向傳播和后向傳播結合的人工神經網絡，也是一種典型的深度學習方法，目前已成為當前語音分析和圖像識別領域的研究熱點。卷積神經網絡的結構與人類視覺系統(tǒng)相近，人類視覺系統(tǒng)對于信息的處理是分級進行的，由低級特征組合為高級特征，特征表達逐漸抽象，而卷積神經網絡通過堆疊網絡的層數來逐層表達輸入數據的不同級別特征，網絡結構內部每次的輸出都作為下一層的輸入，從而更好的學習原始數據的內在聯系。卷積神經網絡能夠從圖像中選取需要的特征，在圖像分類、語音識別等方面能得到更高的正確率。文獻[6]提出了一種三通道五層卷積神經網絡，將立體圖像的左視圖、右視圖和差值圖分塊分別作為網絡輸入，通過卷積提取立體圖像特征，最終全連接加權得出最終的舒適值。基于卷積神經網絡的立體圖像質量評價模型能夠得到更高的分類識別率。立體圖像舒適度評價算法的發(fā)展對立體圖像的發(fā)展有著重要的意義。

發(fā)明內容

為克服現有技術的不足，本發(fā)明旨在提出采用基于卷積神經網絡的立體圖像舒適度評價方法得到圖像的評價分數，更好的擬合人類對立體圖像主觀評價值，能很好的對立體圖像舒適度進行預測。為此，本發(fā)明采用的技術方案是，基于卷積神經網絡的立體圖像舒適度評價方法，將立體圖像的左視圖、右視圖和視差圖的信息合成為一幅圖像作為網絡的輸入，通過卷積神經網絡模擬人類感知來對所得圖像進行處理，經訓練得到權重系數，最后利用人眼視覺顯著特性將圖像塊舒適值加權作為整體圖像的舒適度值。