[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度遙感圖像融合方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810839303.0
• 申請(qǐng)日: 2018-07-27
• 公開（公告）號(hào): CN109272010B
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 張小利;李雄飛;葉發(fā)杰;于爽;王婧;駱實(shí);朱芮
• 申請(qǐng)（專利權(quán)）人: 吉林大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 長春吉大專利代理有限責(zé)任公司 22201
• 代理人: 朱世林

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度遙感圖像融合方法，其特征在于，通過如下步驟實(shí)現(xiàn)：

步驟一，借助卷積神經(jīng)網(wǎng)絡(luò)的性質(zhì)，構(gòu)建一個(gè)符合遙感圖像融合特性的多尺度卷積神經(jīng)網(wǎng)絡(luò)融合模型，其輸入為待融合圖像，輸出為融合圖像；

步驟二，構(gòu)建一個(gè)合適的訓(xùn)練數(shù)據(jù)集，該訓(xùn)練數(shù)據(jù)集類似于真實(shí)遙感圖像，符合遙感圖像融合要求，在該訓(xùn)練集上成功訓(xùn)練提出的融合模型；

步驟三，將遙感全色圖像Pan圖像轉(zhuǎn)換為模型需要的待融合圖像；

步驟四，將轉(zhuǎn)化后的近似Pan圖像同多光譜圖像MS輸入訓(xùn)練好的融合模型，得到最終的融合圖像；

步驟一所述的構(gòu)建多尺度卷積神經(jīng)網(wǎng)絡(luò)融合模型中，模型的構(gòu)建過程為：

先將Pan和MS圖像分別通過一層3×3卷積得到尺度1待融合圖像Pan_conv1和MS_conv1，將Pan和MS在縱深方向上拼接，通過一層1×1卷積得到尺度0融合圖像Fusion0，將Pan_conv1、MS_conv1和Fusion0在縱深方向拼接，通過一層1×1卷積得到尺度1融合圖像Fusion1；

將Pan_conv1和MS_conv1圖像分別通過一層3×3卷積得到尺度2待融合圖像Pan_conv2和MS_conv2，將Pan_conv2、MS_conv2和Fusion1在縱深方向拼接，通過一層1×1卷積得到尺度2融合圖像Fusion2；

將Pan_conv2和MS_conv2圖像分別通過一層3×3卷積得到尺度3待融合圖像Pan_conv3和MS_conv3，將Pan_conv3、MS_conv3和Fusion2在縱深方向拼接，通過一層1×1卷積得到尺度3融合圖像Fusion3，F(xiàn)usion3即為最終的融合圖像。

2.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度遙感圖像融合方法，其特征在于，在步驟二中，構(gòu)建一個(gè)合適的訓(xùn)練數(shù)據(jù)集，在該數(shù)據(jù)集上訓(xùn)練融合模型，數(shù)據(jù)集的構(gòu)建方式為：

選擇分類標(biāo)準(zhǔn)數(shù)據(jù)集CIFAR圖像集作為訓(xùn)練數(shù)據(jù)集，其中每一張圖像大小為32×32，將原始圖像作為融合圖像Fusion，將Fusion分辨率降低為原來1/2作為MS圖像，將Fusion轉(zhuǎn)換到HLS顏色空間，取L分量作為近似Pan圖像；

使用均方誤差MSE作為損失函數(shù)L，通過上述構(gòu)建的數(shù)據(jù)集成功訓(xùn)練回歸融合模型，L的計(jì)算方式如下：

3.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度遙感圖像融合方法，其特征在于，在步驟三中，將遙感全色圖像Pan圖像轉(zhuǎn)換為模型需要的近似Pan圖像，轉(zhuǎn)換方式如下：

首先，計(jì)算MS圖像對(duì)應(yīng)的L圖像L_MS，使用雙三次插值法將其上采樣至Pan大小，之后，使用NSCT分別將L_MS和Pan進(jìn)行多級(jí)分解，先進(jìn)行三級(jí)非下采樣金字塔分解，再將高頻帶通經(jīng)過方向?yàn)V波器組得到方向子帶，在L_MS的多級(jí)分解結(jié)果中，將低頻帶通保留，將高頻帶通的方向分解子帶用Pan分解結(jié)果中對(duì)應(yīng)的子帶替換，最后再將替換后的分解結(jié)果進(jìn)行NSCT逆變換來重構(gòu)L_Pan，此時(shí)L_Pan同時(shí)保留了L_MS的光譜信息和Pan的空間信息，L_Pan也就是融合模型中所用到的近似全色圖像。