[發明專利]基于卷積神經網絡的多尺度遙感圖像融合方法

有效

• 申請號: 201810839303.0
• 申請日: 2018-07-27
• 公開（公告）號: CN109272010B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 張小利;李雄飛;葉發杰;于爽;王婧;駱實;朱芮
• 申請（專利權）人: 吉林大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 長春吉大專利代理有限責任公司 22201
• 代理人: 朱世林

1.一種基于卷積神經網絡的多尺度遙感圖像融合方法，其特征在于，通過如下步驟實現：

步驟一，借助卷積神經網絡的性質，構建一個符合遙感圖像融合特性的多尺度卷積神經網絡融合模型，其輸入為待融合圖像，輸出為融合圖像；

步驟二，構建一個合適的訓練數據集，該訓練數據集類似于真實遙感圖像，符合遙感圖像融合要求，在該訓練集上成功訓練提出的融合模型；

步驟三，將遙感全色圖像Pan圖像轉換為模型需要的待融合圖像；

步驟四，將轉化后的近似Pan圖像同多光譜圖像MS輸入訓練好的融合模型，得到最終的融合圖像；

步驟一所述的構建多尺度卷積神經網絡融合模型中，模型的構建過程為：

先將Pan和MS圖像分別通過一層3×3卷積得到尺度1待融合圖像Pan_conv1和MS_conv1，將Pan和MS在縱深方向上拼接，通過一層1×1卷積得到尺度0融合圖像Fusion0，將Pan_conv1、MS_conv1和Fusion0在縱深方向拼接，通過一層1×1卷積得到尺度1融合圖像Fusion1；

將Pan_conv1和MS_conv1圖像分別通過一層3×3卷積得到尺度2待融合圖像Pan_conv2和MS_conv2，將Pan_conv2、MS_conv2和Fusion1在縱深方向拼接，通過一層1×1卷積得到尺度2融合圖像Fusion2；

將Pan_conv2和MS_conv2圖像分別通過一層3×3卷積得到尺度3待融合圖像Pan_conv3和MS_conv3，將Pan_conv3、MS_conv3和Fusion2在縱深方向拼接，通過一層1×1卷積得到尺度3融合圖像Fusion3，Fusion3即為最終的融合圖像。

2.根據權利要求1所述的一種基于卷積神經網絡的多尺度遙感圖像融合方法，其特征在于，在步驟二中，構建一個合適的訓練數據集，在該數據集上訓練融合模型，數據集的構建方式為：

選擇分類標準數據集CIFAR圖像集作為訓練數據集，其中每一張圖像大小為32×32，將原始圖像作為融合圖像Fusion，將Fusion分辨率降低為原來1/2作為MS圖像，將Fusion轉換到HLS顏色空間，取L分量作為近似Pan圖像；

使用均方誤差MSE作為損失函數L，通過上述構建的數據集成功訓練回歸融合模型，L的計算方式如下：

3.根據權利要求1所述的一種基于卷積神經網絡的多尺度遙感圖像融合方法，其特征在于，在步驟三中，將遙感全色圖像Pan圖像轉換為模型需要的近似Pan圖像，轉換方式如下：

首先，計算MS圖像對應的L圖像L_MS，使用雙三次插值法將其上采樣至Pan大小，之后，使用NSCT分別將L_MS和Pan進行多級分解，先進行三級非下采樣金字塔分解，再將高頻帶通經過方向濾波器組得到方向子帶，在L_MS的多級分解結果中，將低頻帶通保留，將高頻帶通的方向分解子帶用Pan分解結果中對應的子帶替換，最后再將替換后的分解結果進行NSCT逆變換來重構L_Pan，此時L_Pan同時保留了L_MS的光譜信息和Pan的空間信息，L_Pan也就是融合模型中所用到的近似全色圖像。