[發明專利]一種多波段圖像的自監督學習融合方法

有效

• 申請號: 202010784272.0
• 申請日: 2020-08-06
• 公開（公告）號: CN111915545B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 藺素珍;田嵩旺;祿曉飛;李大威;李毅;王麗芳
• 申請（專利權）人: 中北大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 太原科衛專利事務所(普通合伙) 14100
• 代理人: 朱源

1.一種多波段圖像的自監督學習融合方法，其特征在于包括以下步驟：

設計并構建生成對抗網絡：該生成對抗網絡由一個生成器和多個判別器組成；生成器包括特征增強模塊、特征融合模塊兩部分，其中特征增強模塊用來提取不同波段源圖像的特征并進行增強得到各波段的多通道特征圖，特征融合模塊將利用合并連接層在通道維度上進行連接后的特征圖重構出融合圖像；

利用該生成對抗網絡首先將多波段圖像分別輸入生成器，分別通過特征增強模塊分別提取各波段源圖像特征并進行增強，然后將多波段圖像特征增強結果合并連接并通過特征融合模塊重構出初步的融合圖像；

將初步融合圖像分別與各波段源圖像送入對應的判別器進行分類識別，經過生成器和判別器之間的動態博弈和迭代更新，使得生成器輸出結果同時保留多個波段圖像的特征，達到圖像融合的目的，生成器最終輸出的圖像即為融合結果；

生成器損失函數包含三個部分：對抗損失L_adv、內容損失L_con和SSIM損失L_SSIM；其中對抗損失為式中i＝1,2,…,n表示源圖像的波段數，多波段圖像融合中n≥3；E表示期望；x表示輸入樣本；I⁽ⁿ⁾表示多波段源圖像，即輸入生成器的n個波段源圖像；I_i表示i波段源圖像；||·||₂表示L2范數；G為生成器；D_i為源圖像i對應的判別器；a表示生成器希望判別器相信偽數據的值，此處為0.7至1.2的隨機數；內容損失為其中，y表示輸入的真實樣本；I_i表示輸入的i波段標簽圖像即對應波段源圖像；c為特征融合模塊對應卷積層層數，取值為1-4；O_c為特征融合模塊對應卷積層的輸出；為梯度運算；λ_i、σ_i分別表示亮度損失和梯度損失針對不同源圖像的權重；SSIM損失其中，SSIM(·)為結構相似性運算，即其中A、B分別是兩幅需要計算的圖像G(x)、y，μ_A是A的平均值，μ_B是B的平均值，是A的方差，是B的方差，σ_AB是A和B的協方差，c₁＝(k₁L)²，c₂＝(k₂L)²是用來維持穩定的常數，L是像素值的動態范圍，k₁＝0.01，k₂＝0.03；綜上所述，生成器損失函數為其中，θ_G為生成器訓練參數；λ_con、λ_ssim分別表示L_con和L_ssim的權重；min為最小化；

判別器損失函數L_D為D_i為i波段源圖像對應的判別器；為判別器的訓練參數；前兩項執行Wasserstein距離估計，最后一項是網絡正則化的梯度懲罰項；為從標簽數據分布y和生成器輸入數據分布x采樣的成對點之間的直線上的隨機采樣，即其中α∈[0,1]；λ_gp為梯度懲罰項的權重；max為最大化。

2.根據權利要求1所述的一種多波段圖像的自監督學習融合方法，其特征在于λ_con＝1、λ_ssim＝1、λ_gp＝10時能夠平衡各個損失函數，網絡訓練效果達到較好效果。

3.根據權利要求1或2所述的一種多波段圖像的自監督學習融合方法，其特征在于輸入生成器的多波段圖像包含紅外長波、近紅外和可見光三波段圖像；多波段圖像通過滑動窗口進行分塊，窗口大小為128×128，步長為64，分塊后的圖像通過旋轉、鏡像操作擴充，擴充后的圖像作為輸入數據集，同時將輸入數據集用于對應的自監督標簽圖像。