[發(fā)明專利]基于多分支相似度網(wǎng)絡(luò)的無參考圖像質(zhì)量評價方法

有效

• 申請?zhí)枺?/td>: 201910718234.2
• 申請日: 2019-08-05
• 公開（公告）號: CN110516716B
• 公開（公告）日: 2021-11-09
• 發(fā)明（設(shè)計）人: 路文;周自衡;何維佺;韓士帥;何立火
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 田文英;王品華

本發(fā)明公開了基于多分支相似度網(wǎng)絡(luò)的無參考圖像質(zhì)量評價方法，其步驟為：構(gòu)建多分支卷積模塊和相似度融合模塊，構(gòu)建多分支相似度網(wǎng)絡(luò)，生成無參考的訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，訓(xùn)練多分支卷積特征相似度網(wǎng)絡(luò)，輸出測試集中每張失真圖像的質(zhì)量評價分?jǐn)?shù)值。本發(fā)明多分支卷積模塊自適應(yīng)提取圖像的分層特征，通過相似度融和降低圖像特征與圖像內(nèi)容的相關(guān)性，具有評價無參考圖像質(zhì)量時結(jié)果更加準(zhǔn)確、應(yīng)用場景更廣泛的優(yōu)點。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進(jìn)一步涉及圖像質(zhì)量評價技術(shù)領(lǐng)域中的一種基于多分支特征相似度網(wǎng)絡(luò)的無參考圖像質(zhì)量評價方法。本發(fā)明可用于自動評價沒有原始參考圖像的數(shù)字圖像的失真程度。

背景技術(shù)

隨著成像設(shè)備的普及和信息技術(shù)的發(fā)展，數(shù)字圖像已經(jīng)成為了一種主要的信息載體，在越來越多的應(yīng)用場合被處理、傳遞、存儲以及重構(gòu)。但是，這些過程中不可避免的會引入噪聲導(dǎo)致圖像失真，一幅“干凈”的圖像被噪聲污染后，會降低人眼感知的舒適度，甚至影響人們對圖像內(nèi)容的正確理解。因此，圖像的感知質(zhì)量是比較各種數(shù)字圖像處理算法性能優(yōu)劣以及描述圖像視覺體驗的重要指標(biāo)。無參考圖像質(zhì)量評價是指不需要任何參考信息，只將失真圖像作為輸入進(jìn)行評估，建立預(yù)測的質(zhì)量值與人的主觀評價一致的數(shù)學(xué)模型。在實際應(yīng)用場景中我們無法得到參考圖像，如相機捕捉的模糊的運動場景，真實拍攝的欠曝光夜景圖像，因此無參考圖像質(zhì)量評價具有更實際的應(yīng)用場景和更大挑戰(zhàn)性。

寧波大學(xué)在其擁有的專利技術(shù)“一種基于深度學(xué)習(xí)的無參考圖像質(zhì)量客觀評價方法”(申請?zhí)枺?015105233731，授權(quán)公告號：CN105208374B)中公開了一種基于堆棧自編碼器的無參考圖像質(zhì)量評價方法。該專利技術(shù)主要解決傳統(tǒng)方法特征不稀疏的問題。該專利技術(shù)實現(xiàn)步驟為：(1)利用多分辨率金字塔和高斯差分分解方法，從空域提取自然統(tǒng)計特征；(2)構(gòu)建深度稀疏堆棧自編碼器學(xué)習(xí)所提取的自然場景統(tǒng)計特征的深度表征；(3)通過支持向量機將經(jīng)過深度表征映射為圖像的質(zhì)量分?jǐn)?shù)。該專利技術(shù)雖然改進(jìn)了傳統(tǒng)的無參考圖像質(zhì)量評價技術(shù)，通過深度堆棧自編碼器獲取了更稀疏的質(zhì)量感知特征。但是，該方法仍然存在的不足之處是，使用了手工提取的統(tǒng)計特征表達(dá)能力不強，難以自適應(yīng)表征各種場景的失真圖像質(zhì)量，且最終預(yù)測的質(zhì)量分?jǐn)?shù)和主觀一致性不高。

北京理工大學(xué)在其擁有的專利技術(shù)“一種基于預(yù)注意機制和空間依賴性的無參考圖像質(zhì)量評價方法”(申請?zhí)枺?017103237474，授權(quán)公告號：CN107018410B)中公開了一種同時考慮灰度信息和顏色信息的無參考圖像質(zhì)量評價方法。該專利技術(shù)主要解決傳統(tǒng)方法對顏色信息的利用不充分的問題。該專利技術(shù)實現(xiàn)步驟為：(1)將圖像分解為顏色信息和灰度信息兩部分；(2)應(yīng)用尺度空間對灰度信息做處理；(3)計算彩色信息圖和灰度信息圖的灰度色調(diào)共生矩陣，完成特征提取；(4)利用基于學(xué)習(xí)的機器學(xué)習(xí)方法，把質(zhì)量特征向量映射為對應(yīng)的質(zhì)量分?jǐn)?shù)。該專利技術(shù)雖然改進(jìn)了傳統(tǒng)的無參考圖像質(zhì)量評價技術(shù)，提取了顏色信息中包含的質(zhì)量感知特征。但是，該方法仍然存在的不足之處是，提取的圖像特征與圖像內(nèi)容相關(guān)性較強，存在大量與質(zhì)量評價無關(guān)的冗余。

Kwan-Yee Lin等人在其發(fā)表的論文“Hallucinated-IQA:No-Reference ImageQuality Assessment via Adversarial Learning”(IEEE Computer Vision and PatternRecognition,2018)中公開了一種基于生成學(xué)習(xí)的無參考圖像質(zhì)量評價方法。該方法首先訓(xùn)練了一個生成對抗網(wǎng)絡(luò)生成待測圖像的幻像參考圖，然后計算待測圖像和幻想圖的差異圖，并構(gòu)建了一個回歸網(wǎng)絡(luò)根據(jù)差異圖計算圖像的質(zhì)量分?jǐn)?shù)。該方法通過生產(chǎn)的幻像參考圖消除了圖像中與質(zhì)量評價無關(guān)的信息冗余，顯著提高了預(yù)測結(jié)果和主觀評價的一致性。但是，該方法仍然存在的不足之處是，訓(xùn)練生成對抗網(wǎng)絡(luò)生成幻像參考圖時需要參考信息，這限制該方法在真實拍攝的失真圖像上的應(yīng)用。

發(fā)明內(nèi)容