[發(fā)明專利]一種基于質(zhì)量評(píng)價(jià)和特征統(tǒng)計(jì)的圖像超分辨率重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811352647.5
• 申請(qǐng)日: 2018-11-14
• 公開（公告）號(hào): CN109559276B
• 公開（公告）日: 2020-09-08
• 發(fā)明（設(shè)計(jì)）人: 田勝;鄒煉;范賜恩;陳麗瓊;伏媛;楊燁;胡雨涵
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T7/00;G06T7/41
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

本發(fā)明為使超分辨率重建的圖片更加符合人眼視覺感知效果，并同時(shí)維護(hù)圖片的特征結(jié)構(gòu)等問(wèn)題，提出了一種基于無(wú)參考質(zhì)量評(píng)價(jià)和特征統(tǒng)計(jì)的圖像超分辨率重建方法，構(gòu)建了一個(gè)對(duì)抗學(xué)習(xí)網(wǎng)絡(luò)模型，生成更多的高頻細(xì)節(jié)邊緣，使得圖像看起來(lái)更有紋理，通過(guò)無(wú)參考質(zhì)量評(píng)價(jià)調(diào)整圖像色調(diào)、亮度和銳度使生成圖像更逼近人類視覺感知，并通過(guò)特征統(tǒng)計(jì)維護(hù)圖像的內(nèi)部特征結(jié)構(gòu)。相較于傳統(tǒng)的超分辨率重建方法，本方法產(chǎn)生的高分辨率圖片具有更加豐富的真實(shí)紋理細(xì)節(jié)，提升了圖像的人眼感知效果，并且圖片的結(jié)果內(nèi)容不會(huì)被破壞。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺、圖像超分辨率重建、圖像質(zhì)量評(píng)價(jià)領(lǐng)域，具體地涉及一種基于無(wú)參考質(zhì)量評(píng)價(jià)和特征統(tǒng)計(jì)的圖像超分辨率重建方法。

背景技術(shù)

圖像超分辨率重建是從信息量有限的低分辨率圖像中恢復(fù)出高分辨率的圖像。然而超分辨率重建是一對(duì)多的病態(tài)問(wèn)題，因?yàn)槎喾N高分辨圖片可能對(duì)應(yīng)著同一種低分辨率圖片。得益于目前熱門的深度學(xué)習(xí)的發(fā)展，這類方法通過(guò)從超分辨率數(shù)據(jù)集上學(xué)習(xí)相應(yīng)的映射關(guān)系限制解空間，從而從一定程度上緩解了這種病態(tài)問(wèn)題，并且在超分辨率重建效果上取得重大突破。這些工作大多通過(guò)設(shè)計(jì)先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)單方面地追求更高的峰值信噪比PSNR和結(jié)構(gòu)相似性SSIM，但是超分辨率最重要的目標(biāo)是產(chǎn)生具有高視覺質(zhì)量的目標(biāo)圖像。PSNR和SSIM都是依賴于低層像素間的差異，并不能代表感知質(zhì)量的效果。

目前圖像超分辨重建模型大多采用的是對(duì)應(yīng)像素間的誤差作為網(wǎng)絡(luò)學(xué)習(xí)的損失函數(shù)，如MSE損失和L1損失。這類以PSNR為導(dǎo)向的損失函數(shù)盡管可以使生成模型恢復(fù)圖像整體結(jié)構(gòu)，但是卻容易產(chǎn)生模糊的紋理細(xì)節(jié)。為了獲得更好的重建的細(xì)節(jié)和邊緣，基于深度特征的感知損失被提出用于引導(dǎo)深度網(wǎng)絡(luò)的學(xué)習(xí)。此外，通過(guò)利用鑒別器網(wǎng)絡(luò)計(jì)算生成的圖像與真實(shí)自然圖像的對(duì)抗損失可以引導(dǎo)模型生成更加逼真的圖像，產(chǎn)生圖像具有很好的視覺感知效果，不過(guò)這種方法卻容易使圖像生成一些虛假邊緣。總之，損失函數(shù)在訓(xùn)練網(wǎng)絡(luò)模型方面具有十分重要的作用，但能夠兼顧視覺感知質(zhì)量和圖像內(nèi)容破壞的損失函數(shù)仍有待研究。

現(xiàn)在已有的一些關(guān)于圖像損失函數(shù)的專利(包括發(fā)明授權(quán)專利和發(fā)明公布專利)如下：

1)申請(qǐng)?zhí)枮椋篊N201710044857.7的中國(guó)發(fā)明專利《一種基于殘差子圖像的深度學(xué)習(xí)超分辨率重建方法》，此發(fā)明采用較深的網(wǎng)絡(luò)層數(shù)，提升模型的非線性表示能力和圖像重建能力，能夠得到較高客觀指標(biāo)的重建結(jié)果。但這一種方法生成的高分辨率圖像普通具有較模糊的細(xì)節(jié)，不能獲得很好的主觀感知質(zhì)量。

2)申請(qǐng)?zhí)枮椋篊N201710301990.6的中國(guó)發(fā)明專利《基于內(nèi)容感知深度學(xué)習(xí)網(wǎng)絡(luò)的遙感圖像超分辨率重建方法》，此方法的思想是將待超分圖像按內(nèi)容復(fù)雜性分為高、中、低三種，在采用三種對(duì)應(yīng)的復(fù)雜性不等的GAN網(wǎng)絡(luò)模型進(jìn)行重建。并提出了一個(gè)新的結(jié)合內(nèi)容損失、對(duì)抗損失和全變差損失的損失函數(shù)引導(dǎo)模型進(jìn)行訓(xùn)練。此方法一定程度上克服了超分辨率重建中普遍存在的過(guò)擬合和欠擬合的問(wèn)題，但是GAN網(wǎng)絡(luò)訓(xùn)練較為復(fù)雜，且參數(shù)量眾多，容易導(dǎo)致生成圖像出現(xiàn)一些虛假邊緣，影響圖像的真實(shí)觀感。

盡管感知損失和對(duì)抗損失應(yīng)用于圖像超分辨率重建，使得生成圖片有兼顧到一定的感知效果，但是生成結(jié)果面臨過(guò)多虛假邊緣，結(jié)構(gòu)破壞等等。本發(fā)明的創(chuàng)新點(diǎn)在于引入圖像無(wú)參考質(zhì)量評(píng)價(jià)作為損失函數(shù)，有效地使生成圖像更加符合人眼視覺感知效果。同時(shí)引入了深層特征的統(tǒng)計(jì)損失，維護(hù)圖像內(nèi)部的特征自然統(tǒng)計(jì)，以此使得生成圖像免于遭受結(jié)構(gòu)破壞，兼顧生成圖像的特征統(tǒng)計(jì)與目標(biāo)圖像保持一致。首先建立并初始化了一個(gè)對(duì)抗學(xué)習(xí)網(wǎng)絡(luò)，通過(guò)分辨器的損失函數(shù)調(diào)整整個(gè)網(wǎng)絡(luò)的權(quán)重和參數(shù)，生成器產(chǎn)生的圖像受到分辨器的反饋，使得生成圖像產(chǎn)生更多的自然真實(shí)邊緣，形成一個(gè)閉環(huán)的對(duì)抗學(xué)習(xí)網(wǎng)絡(luò)。但同時(shí)我們?cè)谏善髦蓄~外引入了質(zhì)量評(píng)價(jià)損失和自然統(tǒng)計(jì)損失，以此調(diào)整生成器產(chǎn)生的圖片具有更好的質(zhì)量評(píng)價(jià)指標(biāo)，并能夠維持真實(shí)圖像內(nèi)部的特征統(tǒng)計(jì)，避免生成圖像遭受內(nèi)容結(jié)構(gòu)破壞。本發(fā)明可以使得圖像生成高視覺感知質(zhì)量的圖像，并且能夠使得圖像兼顧內(nèi)容結(jié)構(gòu)完整，具有較高的PSNR值。

發(fā)明內(nèi)容