[發(fā)明專利]一種利用多層深度表征進(jìn)行無參考圖像質(zhì)量預(yù)測的方法

有效

• 申請?zhí)枺?/td>: 201710962452.1
• 申請日: 2017-10-16
• 公開（公告）號: CN107743225B
• 公開（公告）日: 2019-08-06
• 發(fā)明（設(shè)計）人: 俞俊;高飛;孟宣彤
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: H04N17/00
• 分類號: H04N17/00
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明公開了一種利用多層深度表征進(jìn)行無參考圖像質(zhì)量預(yù)測的方法。本發(fā)明包括如下步驟：步驟(1)數(shù)據(jù)預(yù)處理：將所有圖像縮放到統(tǒng)一的尺寸大小，減去平局值，將二進(jìn)制數(shù)據(jù)轉(zhuǎn)換為深度神經(jīng)網(wǎng)絡(luò)能識別的數(shù)據(jù)格式；步驟(2)特征提取及處理：利用一個在ImageNet上訓(xùn)練好的37層VGGnet模型進(jìn)行特征提取，提取每層特征并進(jìn)行處理，得到一個列向量；步驟(3)預(yù)測分?jǐn)?shù)：將每層特征融合得到的列向量輸入支持向量回歸模型得到每層特征的預(yù)測分?jǐn)?shù)；將各層分?jǐn)?shù)平均值作為整張圖片的質(zhì)量評估分值。本發(fā)明提出了一整簡單高效的針對圖像質(zhì)量評價的新方法。并且獲得了目前在圖像質(zhì)量評價領(lǐng)域中的最好效果。

技術(shù)領(lǐng)域

本發(fā)明提到了一種利用多層深度表征進(jìn)行無參考圖像質(zhì)量預(yù)測(BLind Imagequality predictioN via multi-level DEep Representations,BLINDER)的方法，其中主要涉及一種利用深層次網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，并提取處理各層特征進(jìn)行分?jǐn)?shù)預(yù)測的方法，以及構(gòu)建一個準(zhǔn)確率極高的分?jǐn)?shù)預(yù)測模型的建模表達(dá)。

背景技術(shù)

圖像質(zhì)量是比較各種圖像處理算法性能優(yōu)劣以及優(yōu)化系統(tǒng)參數(shù)的重要指標(biāo)，因此在圖像采集、編碼壓縮、網(wǎng)絡(luò)傳輸?shù)阮I(lǐng)域建立有效的圖像質(zhì)量評價機(jī)制具有重要的意義。圖像質(zhì)量評價從方法上可分為主觀評價方法和客觀評價方法，前者憑借實(shí)驗人員的主觀感知來評價對象的質(zhì)量；后者依據(jù)模型給出的量化指標(biāo)。相對于主觀質(zhì)量評價，客觀質(zhì)量評價具有操作簡單、成本低、易于解析和嵌入實(shí)現(xiàn)等優(yōu)點(diǎn)，已經(jīng)成為圖像質(zhì)量評價的研究重點(diǎn)。

無參考質(zhì)量評價是客觀質(zhì)量評價方法之一，無參考圖像質(zhì)量評估(Blind imagequality assessment BIQA)的目標(biāo)是能夠在沒有原始圖像的參考的狀態(tài)下，自動評估一副圖像的質(zhì)量并給出和人的主觀感受相一致的評價值。

近年來，隨著深度學(xué)習(xí)的迅速發(fā)展，使用深度神經(jīng)網(wǎng)絡(luò)，如深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)和深度循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent NeuralNetworks,RNN)進(jìn)行端到端(end-to-end)地問題建模成為目前計算機(jī)視覺方向上的主流研究方向。在圖像質(zhì)量評價上，利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像質(zhì)量分?jǐn)?shù)評估已經(jīng)大大的超越了傳統(tǒng)的質(zhì)量評估方法，但仍存在一些缺點(diǎn)，總體可概括為兩點(diǎn)：

(1)現(xiàn)有的用于圖像質(zhì)量評價的深度神經(jīng)網(wǎng)絡(luò)大都是淺層的，最大的網(wǎng)絡(luò)僅有七層。然而其它視覺研究已經(jīng)證明，網(wǎng)絡(luò)層次越多，網(wǎng)絡(luò)模型越深，則實(shí)驗效果越好。所以用深層次的網(wǎng)絡(luò)進(jìn)行圖像質(zhì)量評價的研究是值得深入探索的一個方向。

(2)現(xiàn)有的基于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像質(zhì)量評級的方法中，大都是用網(wǎng)絡(luò)模型的最后一層網(wǎng)絡(luò)輸出作為預(yù)測圖像質(zhì)量分?jǐn)?shù)的關(guān)鍵，但是，對于圖像質(zhì)量評價來說最后一層網(wǎng)絡(luò)可能并不是最佳的選擇。深度網(wǎng)絡(luò)的最后一層往往會過度泛化一些對質(zhì)量評價有著重要影響的人工操作，比如噪聲和模糊，中間層雖然不具有深層網(wǎng)絡(luò)攜帶大量深層次信息的能力，但是對于這些能夠影響圖片質(zhì)量分?jǐn)?shù)的因素足夠敏感，所以對于提取中間層特征信息作為評估圖片質(zhì)量分?jǐn)?shù)的評估依據(jù)很有意義。

發(fā)明內(nèi)容

本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足，提供一種利用多層深度表征進(jìn)行無參考圖像質(zhì)量預(yù)測的方法。我們對五個標(biāo)準(zhǔn)的圖像質(zhì)量評價的數(shù)據(jù)做了實(shí)驗，每個數(shù)據(jù)集均有n張扭曲的圖片，和每張圖片對應(yīng)的平均主觀分?jǐn)?shù)值(mean opinion scores MOS)或差別平均值(difference mean opinion scores DMOS)值。

給定圖像及相應(yīng)的MOS值或DMOS值作為訓(xùn)練集。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案包括如下步驟：

步驟(1)數(shù)據(jù)預(yù)處理

將所有圖像縮放到統(tǒng)一的尺寸大小，減去平局值，將二進(jìn)制數(shù)據(jù)轉(zhuǎn)換為深度神經(jīng)網(wǎng)絡(luò)能識別的數(shù)據(jù)格式。

步驟(2)特征提取及處理