[發(fā)明專利]基于SR-MDCNN的遙感圖像融合方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911153419.X
• 申請(qǐng)日: 2019-11-22
• 公開（公告）號(hào): CN110930343A
• 公開（公告）日: 2020-03-27
• 發(fā)明（設(shè)計(jì)）人: 張秀再;宮浩;胡敬鋒
• 申請(qǐng)（專利權(quán)）人: 南京信息工程大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

本發(fā)明公開了一種基于SR?MDCNN的遙感圖像融合方法，屬于人工智能圖像融合領(lǐng)域，首先將獲取到的遙感圖像進(jìn)行均勻分割，使圖片的尺寸滿足網(wǎng)絡(luò)設(shè)定的輸入圖像；接下來將裁剪后的圖像進(jìn)行雙三次插值再下采樣得到低質(zhì)量圖像，將低質(zhì)量圖像作為輸入，高質(zhì)量圖像作為目標(biāo)圖像的標(biāo)簽制作訓(xùn)練數(shù)據(jù)集，將圖像輸入超分辨率多尺度空洞卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像進(jìn)行訓(xùn)練；在網(wǎng)絡(luò)模型loss值達(dá)到預(yù)期要求后導(dǎo)出模型；再將測(cè)試集圖片輸入到訓(xùn)練好的模型中，根據(jù)模型的輸出得到高質(zhì)量的多光譜圖像，最后使用SFIM算法對(duì)高質(zhì)量的多光譜圖像和全色圖像進(jìn)行融合，優(yōu)點(diǎn)在于借助了卷積神經(jīng)網(wǎng)絡(luò)處理圖像的準(zhǔn)確性和穩(wěn)定性，相較于傳統(tǒng)的圖像融合算法，該網(wǎng)絡(luò)模型具有較好的融合效果。

技術(shù)領(lǐng)域

本發(fā)明涉及遙感圖像，涉及一種基于SR-MDCNN的遙感圖像融合方法。

背景技術(shù)

傳統(tǒng)的遙感圖像融合方法主要是對(duì)全色(PAN)圖像的圖像空間細(xì)節(jié)和多光譜(MS)圖像的光譜信息的組合。

但僅對(duì)MS圖像進(jìn)行簡(jiǎn)單的插值放大，會(huì)丟失多光譜圖像中大量空間細(xì)節(jié)信息，從而在融合時(shí)產(chǎn)生一定的光譜失真。Jinying Zhong等在2016年提出一種結(jié)合人工神經(jīng)網(wǎng)絡(luò)對(duì)遙感圖像進(jìn)行先增強(qiáng)再融合的方法，其算法主要分為兩個(gè)部分：首先使用超分辨率卷積神經(jīng)網(wǎng)絡(luò)(SRCNN)對(duì)低分辨率MS圖像進(jìn)行增強(qiáng)；再使用Gram-Schmidt方法對(duì)增強(qiáng)后的MS圖像以及原有的PAN圖像進(jìn)行融合。其融合結(jié)果相較使用原MS圖像的融合結(jié)果，細(xì)節(jié)信息的保留得到了一定提升。但由于SRCNN的增強(qiáng)任務(wù)是針對(duì)自然圖像，且擬合性效果不好，融合后的圖像會(huì)出現(xiàn)空間信息丟失以及光譜失真的現(xiàn)象。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明的目的是提供一種基于SR-MDCNN的遙感圖像融合方法，對(duì)數(shù)據(jù)擬合效果差和對(duì)圖像增強(qiáng)能力弱的缺點(diǎn)，提供了基于超分辨率多尺度空洞卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像融合方法，對(duì)經(jīng)典網(wǎng)絡(luò)的濾波器進(jìn)行更換，簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，再結(jié)合批量歸一化，以提加快網(wǎng)絡(luò)的訓(xùn)練速度和提高對(duì)遙感圖像識(shí)別的準(zhǔn)確率。

技術(shù)方案：本發(fā)明所述的基于SR-MDCNN的遙感圖像融合方法，包括以下步驟

1)將從網(wǎng)絡(luò)上獲取到的圖片裁剪成適合輸入模型尺寸并生成新的圖像；

2)將步驟1)中生成新的圖像中的I通道單獨(dú)拿出，經(jīng)雙三次插值及下采樣后與步驟1)中的新的圖像一一對(duì)應(yīng)生成訓(xùn)練集；

3)將步驟2)中的數(shù)據(jù)集放入神經(jīng)網(wǎng)絡(luò)中訓(xùn)練得到訓(xùn)練后的模型；

4)將待待融合圖像輸入步驟3)中生成的模型，通過模型得到增強(qiáng)后的多光譜圖像；

5)將增強(qiáng)后的多光譜圖像與全色圖像通過SFIM算法進(jìn)行融合，得到融合收的圖像。

有益效果：本發(fā)明針對(duì)遙感圖像豐富的影像細(xì)節(jié)，利用卷積神經(jīng)網(wǎng)絡(luò)在超分辨率恢復(fù)中的優(yōu)勢(shì)，基于超分辨率多尺度空洞卷積神經(jīng)網(wǎng)絡(luò)研究了一種基于多尺度擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)與SFIM算法結(jié)合的遙感融合算法。在6層卷積層的神經(jīng)網(wǎng)絡(luò)中加入了多尺度擴(kuò)張卷積模塊以及殘差學(xué)習(xí)單元，有效降低了網(wǎng)絡(luò)的loss值，提高了網(wǎng)絡(luò)的擬合能力，針對(duì)圖像的增強(qiáng)較其他神經(jīng)網(wǎng)絡(luò)相比，有較好的效果；結(jié)合SFIM算法后，能有效地對(duì)遙感圖像進(jìn)行處理。

附圖說明

圖1為算法主要流程

圖2為超分辨率空洞多尺度卷積神經(jīng)網(wǎng)絡(luò)(SR-MDCNN)結(jié)構(gòu)；

圖3為加入跳躍鏈接對(duì)網(wǎng)絡(luò)擬合的影響；

圖4為網(wǎng)絡(luò)主要結(jié)構(gòu)；

圖5為Relu激活函數(shù)與PRelu激活函數(shù)；

圖6為各算法對(duì)WorldView-2衛(wèi)星建筑物融合圖像對(duì)比；

圖7為各算法對(duì)WorldView-2衛(wèi)星建筑物融合圖像殘差對(duì)比；