[發(fā)明專利]高級視覺感知特征與深度特征融合的圖像質量評價方法

有效

• 申請?zhí)枺?/td>: 202010117736.2
• 申請日: 2020-02-25
• 公開（公告）號: CN111429402B
• 公開（公告）日: 2023-05-30
• 發(fā)明（設計）人: 張蕾;侯文靜;張敏;馮筠
• 申請（專利權）人: 西北大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/80;G06V10/82;G06V10/98;G06V10/774;G06N3/045;G06N3/08
• 代理公司: 西安恒泰知識產(chǎn)權代理事務所 61216
• 代理人: 李婷;祁凡雨

本發(fā)明公開了一種高級視覺感知特征與深度特征融合的圖像質量評價方法，該方法包括：結合基于人眼視覺系統(tǒng)的最小可覺差模型對原始失真圖像進行預處理；通過將原始失真圖像與原始失真圖像得到的最小可覺差圖分別作為兩個子網(wǎng)絡的輸入來訓練深度網(wǎng)絡分別提取圖像質量感知特征，并對兩個網(wǎng)絡分支所提取的特征進行融合；進一步構建全連接層對圖像質量進行評價。本發(fā)明提供的方法，通過結合人眼視覺系統(tǒng)對圖像的感知特點，建立了一種新的自然圖像主觀感知的客觀預測模型；提出了一種新的損失函數(shù)，能夠有效地實現(xiàn)圖像質量的評價。改進后的圖像質量評價模型能夠提取到更豐富的圖像質量感知特征，并且預測的結果與人眼視覺主觀感知具有較高一致性。

技術領域

本發(fā)明涉及圖像處理技術領域，涉及圖像質量評價方法，具體涉及一種高級視覺感知特征與深度特征融合的圖像質量評價方法。

背景技術

圖像質量評價(Image?Quality?Assessment，IQA)的目標是設計與人類主觀評估一致的算法進行客觀的質量評估，這些IQA方法對于圖像處理系統(tǒng)的測試，優(yōu)化等具有十分重要的指導意義。無參考圖像質量評價無需任何參考信息，應用廣泛，因此成為圖像質量評價領域的研究熱點。

隨著深度學習的發(fā)展，卷積神經(jīng)網(wǎng)絡(Convolutional?Neural?Network,CNN)在計算機視覺領域各個任務中均取得了顯著的效果，如圖像分類和分割、目標檢測等。因此近些年部分研究者開始將深度學習技術應用于自然圖像質量評價任務中。2014年Kang等人首次將深度學習應用在圖像質量評價領域，構建了一個淺層的卷積神經(jīng)網(wǎng)絡回歸模型，隨后出現(xiàn)了大量的相關工作，主要的困難在于深度學習依賴于大量的標注數(shù)據(jù)，然而，目前公開數(shù)據(jù)集沒有足夠的已標注的訓練樣本。一種常見的解決方案是數(shù)據(jù)增強，例如，2017Bosse等人提出一種Weighted?Average?Deep?Image?Quality?Measure(WaDIQaM)網(wǎng)絡架構，這種方法對于具有均勻單重失真的圖像是有效的，然而，真實環(huán)境中的失真圖像所遭受的失真類型是未知且不均勻的。另一種常見的解決方案是遷移學習，具體地，對已經(jīng)在大規(guī)模數(shù)據(jù)集上預先訓練的網(wǎng)絡模型進行微調(diào)。現(xiàn)有的大多數(shù)基于遷移學習的IQA方法采用固定大小的輸入圖像，這可能會在調(diào)整圖像大小時掩蓋一些失真，或假設剪切圖像時圖像質量不產(chǎn)生局部變化。

綜上所述，現(xiàn)有的基于深度學習的圖像質量評價方法，僅僅從原始失真圖像中提取特征，未考慮到人眼視覺系統(tǒng)對失真圖像的高級感知特征；另外，這些方法只使用均方根誤差(Mean?Square?Error,MSE)或者絕對值誤差(Mean?Absolute?Error,MAE)作為損失函數(shù)，使得網(wǎng)絡預測結果僅僅與標簽值接近，而無法學習到圖像質量的秩次關系。因此，網(wǎng)絡在訓練時無法學習到與視覺質量感知一致的特征，導致模型效果不夠理想。

發(fā)明內(nèi)容

針對現(xiàn)有技術的不足，本發(fā)明的目的在于結合人眼視覺系統(tǒng)的最小可覺差模型(Just?Noticeable?Difference，JND)，提供一種基于深度學習的圖像質量評價方法，用以解決現(xiàn)有技術缺乏對人眼主觀感知特點融合的問題。

為了實現(xiàn)上述目標，本發(fā)明采用以下技術方案：

一種圖像質量評價方法，本方法是對原始失真圖像進行圖像質量評價，包括以下步驟：

步驟1，利用最小可覺差模型對原始失真圖像進行處理，得到最小可覺差圖像，構建特征提取網(wǎng)絡分別用于從最小可覺差圖像和原始失真圖像中提取高級視覺感知特征和深度特征；并將這兩種特征進行融合；

步驟2，構建基于步驟1得到的融合特征進行圖像質量預測的網(wǎng)絡結構，具體地，該網(wǎng)絡結構的是含有一個節(jié)點的全連接層，表示圖像的質量分數(shù)；步驟3，構建目標損失函數(shù)，訓練所構建的網(wǎng)絡結構，得到圖像質量評價模型；

步驟4，利用圖像質量評價模型對原始失真圖像進行圖像質量評價。

優(yōu)選的，構建均方根誤差與圖像質量排序的加權作為目標損失函數(shù)，目標損失函數(shù)L為：