[發明專利]基于改進WGAN-GP的多波段圖像同步融合與增強方法

有效

• 申請號: 202010538631.4
• 申請日: 2020-06-13
• 公開（公告）號: CN111696066B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 李大威;田嵩旺;藺素珍;楊博;張海松
• 申請（專利權）人: 中北大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 太原科衛專利事務所(普通合伙) 14100
• 代理人: 朱源

1.基于改進WGAN-GP的多波段圖像同步融合與增強方法，其特征在于包括以下步驟：

設計并構建生成對抗網絡：生成對抗網絡分為生成器和判別器兩個模型；生成器包括特征提取子網絡、特征組合子網絡和解碼子網絡三部分，其中特征提取子網絡用來提取不同波段源圖像的特征，特征組合子網絡用來將特征提取子網絡提取的不同波段源圖像特征在高層特征空間中組合，解碼子網絡將組合的特征圖轉為融合圖像；

利用該生成對抗網絡首先將多波段低分辨率源圖像分別輸入特征提取網絡，隨后將提取的多波段圖像特征在高層特征空間中組合，然后通過解碼子網絡重構融合圖像；

將重構的融合圖像和多波段低分辨率源圖像對應的標簽圖像分別送入判別器進行分類識別，迭代優化生成器和判別器，經過生成器和判別器的動態博弈，使得生成器輸出的融合圖像和判別器輸出的標簽圖像不斷趨于相似，在生成器和判別器達到動態平衡時得到的生成器模型即為最終的多波段圖像同步融合增強網絡模型，應用該生成器模型融合多波段低分辨率源圖像，

生成器損失函數包含三個部分：對抗損失L_adv、內容損失L_con和感知損失L_per；其中對抗損失式中G表示生成器，D表示判別器，E表示期望,x表示生成器樣本輸入,I_LR表示輸入生成器的低分辨率源圖像；內容損失其中，||·||表示F范數,y表示真實樣本輸入，I_HRF表示標簽圖像，表示梯度，λ表示權重系數；感知損失其中，表示特征提取器；綜上所述，最終的復合損失函數為：其中，θ_G表示生成器的訓練參數，λ₁、λ₂分別表示內容損失L_con和感知損失L_per的權重；

判別器損失函數為：

其中，為從標簽數據分布y和生成器輸入數據分布x采樣的成對點之間的直線上的隨機采樣，即其中α∈[0,1]，θ_D為判別器的訓練參數，λ₃為梯度懲罰項的權重。

2.根據權利要求1所述的基于改進WGAN-GP的多波段圖像同步融合與增強方法，其特征在于λ＝5，λ₁＝1，λ₂＝0.1，λ₃＝10時能夠平衡各個損失函數，網絡訓練效果達到較好效果。

3.根據權利要求1或2所述的基于改進WGAN-GP的多波段圖像同步融合與增強方法，其特征在于輸入生成器的多波段低分辨率源圖像由如下過程得來：多波段圖像通過滑動窗口進行分塊，分塊后的圖像通過旋轉、鏡像操作進行擴充，然后通過Resize操作將長和寬各縮小為原圖像的四分之一，作為低分辨率圖像，低分辨率圖像通過雙三次插值方法放大至目標尺寸，得到輸入生成器的多波段低分辨率源圖像。

4.根據權利要求1或2所述的基于改進WGAN-GP的多波段圖像同步融合與增強方法，其特征在于標簽圖像采用如下步驟得到：將多波段圖像通過滑動窗口進行分塊，分塊結果作為高分辨率源圖像，并分別輸入多種融合算法進行融合，然后將融合結果利用多個客觀指標：信息熵、標準差、互信息、平均梯度、空間頻率、對比度、峰值信噪比、相關系數、結構相似性、視覺信息保真度和邊緣信息保留值進行評價，選擇指標最優個數最多的融合算法的融合結果作為標簽圖像。

5.根據權利要求2所述的基于改進WGAN-GP的多波段圖像同步融合與增強方法，其特征在于特征提取子網絡由8個連續的卷積層構成，每個卷積層后面跟隨修正線性單元；特征組合子網絡由1個合并連接層組成；解碼子網絡由8個連續的卷積層構成，且在前7個卷積層后跟隨修正線性單元；判別器包括6個卷積層、3個最大池化層和兩個全連接層，每個卷積層后面跟隨Leaky ReLU激活函數。

6.根據權利要求5所述的基于改進WGAN-GP的多波段圖像同步融合與增強方法，其特征在于為了提升輸入多波段低分辨率源圖像和輸出融合圖像之間的相似性，保存更多源圖像中的信息，在特征提取子網絡和解碼子網絡之間有三個跳連接。