[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的無(wú)參考圖像質(zhì)量評(píng)價(jià)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011625910.0
• 申請(qǐng)日: 2020-12-31
• 公開(kāi)（公告）號(hào): CN112767311A
• 公開(kāi)（公告）日: 2021-05-07
• 發(fā)明（設(shè)計(jì)）人: 顏成鋼;陳子陽(yáng);張繼勇;孫垚棋;張勇東
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明公開(kāi)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的無(wú)參考圖像質(zhì)量評(píng)價(jià)方法。首先對(duì)失真圖和自然圖進(jìn)行預(yù)處理，得到相似圖，然后根據(jù)失真圖和相似圖構(gòu)建神經(jīng)網(wǎng)絡(luò)；基于GAN框架的對(duì)抗生成理念，在生成網(wǎng)絡(luò)部分，融入U(xiǎn)?net框架的跳躍連接特點(diǎn)和densenet的框架的denseblock結(jié)構(gòu)特性；在判別網(wǎng)絡(luò)部分，采用簡(jiǎn)單的分類網(wǎng)絡(luò)；最后訓(xùn)練構(gòu)建的神經(jīng)網(wǎng)絡(luò)。本方法分別吸取并結(jié)合了GAN網(wǎng)絡(luò)，U?net網(wǎng)絡(luò)和densenet網(wǎng)絡(luò)的特點(diǎn)，構(gòu)建了一個(gè)更有效的神經(jīng)網(wǎng)絡(luò)，更有效的實(shí)現(xiàn)了圖到圖的轉(zhuǎn)換和遷移，不僅在圖到圖的實(shí)現(xiàn)中有較好的結(jié)果，而且模擬到的質(zhì)量分?jǐn)?shù)和真實(shí)的質(zhì)量分?jǐn)?shù)有強(qiáng)烈的相關(guān)性和較小的誤差。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理領(lǐng)域，設(shè)計(jì)圖像質(zhì)量評(píng)價(jià)方法，而且涉及到深度學(xué)習(xí)中的生成對(duì)抗網(wǎng)絡(luò)在圖像質(zhì)量評(píng)價(jià)中的應(yīng)用。

背景技術(shù)

現(xiàn)如今，隨著互聯(lián)網(wǎng)技術(shù)以及通信技術(shù)的快速發(fā)展，數(shù)字圖像已經(jīng)成為人們?nèi)粘Ｉ钪行畔鬟f的重要方式。據(jù)統(tǒng)計(jì)，2011年以來(lái)，世界產(chǎn)生的數(shù)字照片總量達(dá)到上百億張，而且這個(gè)數(shù)量還在逐年增長(zhǎng)。然而，圖像在采集、存儲(chǔ)、壓縮和傳輸?shù)冗^(guò)程中容易受到不同種類的失真干擾，從而造成圖像質(zhì)量的降低。所以，如何準(zhǔn)確、可靠地評(píng)價(jià)圖像的質(zhì)量成為當(dāng)前及未來(lái)研究中一個(gè)重要的研究熱點(diǎn)。通常，大多數(shù)圖像是由人來(lái)觀看，所以最可靠的圖像質(zhì)量評(píng)價(jià)方式是主觀質(zhì)量評(píng)價(jià)，即組織觀看人員根據(jù)他們的經(jīng)驗(yàn)來(lái)對(duì)圖像的質(zhì)量進(jìn)行主觀評(píng)分，然而，隨著圖像數(shù)量的增多，主觀質(zhì)量評(píng)價(jià)的實(shí)施變得困難，而且也無(wú)法應(yīng)用于實(shí)時(shí)的圖像處理系統(tǒng)中。所以，研究者們提出客觀質(zhì)量評(píng)價(jià)方法，通過(guò)設(shè)計(jì)客觀算法來(lái)對(duì)圖像的質(zhì)量做出評(píng)價(jià)。

根據(jù)是否參考原始圖像，現(xiàn)有的客觀質(zhì)量評(píng)價(jià)方法被分為三個(gè)類別，分別是全參考，部分參考和無(wú)參考質(zhì)量評(píng)價(jià)方法。盡管目前針對(duì)這三類客觀圖像質(zhì)量評(píng)價(jià)分別提出了大量的方法，但是客觀質(zhì)量評(píng)價(jià)的研究仍然不夠成熟，主要表現(xiàn)在以下幾個(gè)方面，第一，由于目前對(duì)人類視覺(jué)感知機(jī)制的理解不夠深入，現(xiàn)有的基于度量信號(hào)失真的客觀質(zhì)量評(píng)價(jià)方法不能準(zhǔn)確地模擬主觀質(zhì)量評(píng)價(jià)；第二，在無(wú)參考質(zhì)量評(píng)價(jià)方法設(shè)計(jì)中，大多數(shù)方法仍然需要利用主觀質(zhì)量分?jǐn)?shù)來(lái)訓(xùn)練質(zhì)量評(píng)價(jià)模型；第三，在評(píng)價(jià)真實(shí)場(chǎng)景中的失真圖像時(shí)，現(xiàn)有的客觀算法的表現(xiàn)仍然不夠理想。因此，建立一套可以準(zhǔn)確反映人眼主觀感受的立體圖像質(zhì)量客觀評(píng)價(jià)機(jī)制具有深遠(yuǎn)意義。近年來(lái)，相關(guān)研究機(jī)構(gòu)對(duì)平面圖像質(zhì)量評(píng)價(jià)算法進(jìn)行了深入研究，如峰值信噪比(PSNR)、均方誤差(MSE)、結(jié)構(gòu)相似度(SSIM)等評(píng)價(jià)指標(biāo)。然而平面圖像中包含更多的因素，如深度圖等。

近年來(lái)，深度學(xué)習(xí)成為機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)相關(guān)領(lǐng)域的研究熱點(diǎn)，深度學(xué)習(xí)能夠模擬人腦深層次處理數(shù)據(jù)的方式對(duì)原始數(shù)據(jù)內(nèi)部結(jié)構(gòu)和關(guān)系得到層次化的特征表示，因而經(jīng)該預(yù)處理后的網(wǎng)絡(luò)參數(shù)符合人腦的處理結(jié)果，訓(xùn)練后得到的網(wǎng)絡(luò)穩(wěn)定性和泛化能力也有一定的提高。

現(xiàn)有的無(wú)參考質(zhì)量評(píng)價(jià)方法大多數(shù)屬于主觀質(zhì)量分?jǐn)?shù)已知的評(píng)價(jià)方法，此類方法通常需要大量的訓(xùn)練樣本圖像以及對(duì)應(yīng)的主觀分?jǐn)?shù)來(lái)訓(xùn)練質(zhì)量預(yù)測(cè)模型，相比之下，主觀質(zhì)量分?jǐn)?shù)未知的無(wú)參考評(píng)價(jià)方法仍然較少而且已有方法的性能仍然不能與主觀質(zhì)量分?jǐn)?shù)已知的方法相比。

發(fā)明內(nèi)容

本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的不足，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的無(wú)參考圖像質(zhì)量評(píng)價(jià)方法。

本發(fā)明方法基于GAN框架的對(duì)抗生成理念。在生成網(wǎng)絡(luò)部分，融入了U-net框架的跳躍連接特點(diǎn)和densenet的框架的denseblock結(jié)構(gòu)特性，從而大大提高了原框架對(duì)于圖像特征的提取性能。在判別網(wǎng)絡(luò)部分，采用分塊判別網(wǎng)絡(luò)。損失函數(shù)部分，采用交叉熵加L1范數(shù)損失的方式。最后迭代訓(xùn)練出一個(gè)好的生成網(wǎng)絡(luò)模型和判別網(wǎng)絡(luò)模型。最終通過(guò)訓(xùn)練好的生成網(wǎng)絡(luò)模塊，對(duì)其輸入一張失真圖片，就可以得到高質(zhì)量的目標(biāo)圖片質(zhì)量相似圖。

一種基于卷積神經(jīng)網(wǎng)絡(luò)的無(wú)參考圖像質(zhì)量評(píng)價(jià)方法，步驟如下：

步驟1：對(duì)失真圖和自然圖進(jìn)行預(yù)處理，得到相似圖；

步驟2：根據(jù)已有失真圖：X和相似圖：Z，即SSIM_MAP。構(gòu)建神經(jīng)網(wǎng)絡(luò)。