[發(fā)明專利]基于改進(jìn)WGAN-GP的多波段圖像同步融合與增強(qiáng)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010538631.4
• 申請(qǐng)日: 2020-06-13
• 公開（公告）號(hào): CN111696066B
• 公開（公告）日: 2022-04-19
• 發(fā)明（設(shè)計(jì)）人: 李大威;田嵩旺;藺素珍;楊博;張海松
• 申請(qǐng)（專利權(quán)）人: 中北大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 太原科衛(wèi)專利事務(wù)所(普通合伙) 14100
• 代理人: 朱源

本發(fā)明涉及多波段圖像同步融合與增強(qiáng)方法，即同步實(shí)現(xiàn)多波段圖像融合和圖像超分辨率，具體為基于改進(jìn)WGAN?GP的多波段圖像同步融合與增強(qiáng)方法,本方法按如下步驟進(jìn)行：設(shè)計(jì)并構(gòu)建生成對(duì)抗網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)采用構(gòu)思的特征提取（編碼）網(wǎng)絡(luò)、特征組合網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)三部分組成，通過(guò)生成器和判別器的動(dòng)態(tài)平衡訓(xùn)練得到一個(gè)生成模型并得到融合增強(qiáng)結(jié)果。本發(fā)明實(shí)現(xiàn)了多波段圖像端到端同步融合與增強(qiáng)的神經(jīng)網(wǎng)絡(luò)，使得低分辨率源圖像融合出高質(zhì)量融合結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及多波段圖像同步融合與增強(qiáng)方法，即用一個(gè)網(wǎng)絡(luò)模型同時(shí)實(shí)現(xiàn)多波段圖像融合和圖像超分辨率，具體為基于改進(jìn)WGAN-GP的多波段圖像同步融合與增強(qiáng)方法。

背景技術(shù)

多波段圖像融合旨在通過(guò)提取同一場(chǎng)景不同波段圖像中的互補(bǔ)信息組合成一幅信息更豐富、更全面的圖像，用于后續(xù)目標(biāo)提取和決策制定。近年來(lái)，圖像融合技術(shù)發(fā)展迅速，許多有效的融合方法相繼提出，但由于成像傳感器和信號(hào)傳輸寬帶的限制，大多數(shù)源圖像的分辨率受到限制，導(dǎo)致采集得到的紅外和可見光圖像很大一部分并不是高分辨率的。對(duì)低分辨率源圖像，現(xiàn)有圖像融合方法盡管可以綜合各波段信息但得到的融合圖像仍然是低分辨率的，所以，不利于后續(xù)目標(biāo)識(shí)別。

目前，對(duì)低分辨率圖像往往通過(guò)超分辨率(Super Resolution，SR)重建來(lái)提升像質(zhì)。圖像融合領(lǐng)域主要通過(guò)先對(duì)低分辨率源圖像SR再對(duì)其融合或者先融合低分辨率源圖像再對(duì)融合結(jié)果SR兩種方式改善像質(zhì)。研究表明這兩種方式會(huì)丟失細(xì)節(jié)信息或引入噪聲。為此，需要有一種新方法來(lái)同步實(shí)現(xiàn)圖像融合和圖像超分辨率。

發(fā)明內(nèi)容

本發(fā)明為了提升低分辨率源圖像的融合結(jié)果，提出一種基于具有梯度懲罰的Wasserstein生成對(duì)抗網(wǎng)絡(luò)(Wasserstein Generative Adversarial Network withGradient Penalty，WGAN-GP)的多波段圖像同步融合與增強(qiáng)的新方法。

本發(fā)明是采用如下技術(shù)方案實(shí)現(xiàn)的：基于改進(jìn)WGAN-GP的多波段圖像同步融合與增強(qiáng)方法，包括以下步驟：

設(shè)計(jì)并構(gòu)建生成對(duì)抗網(wǎng)絡(luò)：生成對(duì)抗網(wǎng)絡(luò)分為生成器和判別器兩個(gè)模型；生成器包括特征提取子網(wǎng)絡(luò)、特征組合子網(wǎng)絡(luò)和解碼子網(wǎng)絡(luò)三部分，其中特征提取子網(wǎng)絡(luò)用來(lái)提取不同波段源圖像的特征，特征組合子網(wǎng)絡(luò)用來(lái)將特征提取子網(wǎng)絡(luò)提取的不同波段源圖像特征在高層特征空間中組合，解碼子網(wǎng)絡(luò)將組合的特征圖轉(zhuǎn)為融合圖像；

利用該生成對(duì)抗網(wǎng)絡(luò)首先將多波段低分辨率源圖像分別輸入特征提取子網(wǎng)絡(luò)，隨后將提取的多波段圖像特征在高層特征空間中組合，然后通過(guò)解碼子網(wǎng)絡(luò)重構(gòu)融合圖像；

將重構(gòu)的融合圖像和多波段低分辨率源圖像對(duì)應(yīng)的標(biāo)簽圖像分別送入判別器進(jìn)行分類識(shí)別，迭代優(yōu)化生成器和判別器，經(jīng)過(guò)生成器和判別器的動(dòng)態(tài)博弈，使得生成器輸出的融合圖像和標(biāo)簽圖像不斷趨于相似，判別器無(wú)法區(qū)分融合圖像和標(biāo)簽圖像，在生成器和判別器達(dá)到動(dòng)態(tài)平衡時(shí)得到的生成器模型即為最終的多波段圖像同步融合增強(qiáng)網(wǎng)絡(luò)模型，應(yīng)用該生成器模型融合多波段低分辨率源圖像。

上述的基于改進(jìn)WGAN-GP的多波段圖像同步融合與增強(qiáng)方法，生成器損失函數(shù)包含三個(gè)部分：對(duì)抗損失L_adv、內(nèi)容損失L_con和感知損失L_per；其中對(duì)抗損失式中G表示生成器，D表示判別器，E表示期望,x表示生成器樣本輸入(此處即為低分辨率源圖像),I_LR表示輸入生成器的低分辨率源圖像；內(nèi)容損失其中，||·||表示F范數(shù),y表示真實(shí)樣本輸入(此處即為標(biāo)簽圖像)，I_HRF表示標(biāo)簽圖像，表示梯度，λ表示權(quán)重系數(shù)；感知損失其中，表示特征提取器；綜上所述，最終的復(fù)合損失函數(shù)為：其中，θ_G表示生成器的訓(xùn)練參數(shù)，λ₁、λ₂分別表示內(nèi)容損失L_con和感知損失L_per的權(quán)重；

判別器損失函數(shù)為：