[發明專利]一種基于改進的DDcGAN模型的圖像融合方法

有效

• 申請號: 202010528747.X
• 申請日: 2020-06-11
• 公開（公告）號: CN111833282B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 毛雅淇
• 申請（專利權）人: 毛雅淇
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/0464;G06N3/045;G06N3/0475;G06N3/094
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 王恒靜

1.一種基于改進的DDcGAN模型的圖像融合方法，其特征在于，包括訓練階段和測試階段，所述訓練階段包括以下步驟：

(1)提取訓練數據集中各個待處理圖片對應的原始紅外圖像和原始可見光圖像，判斷所述原始紅外圖像和原始可見光圖像的分辨率是否相同，若相同，則直接進入步驟3，否則，進入步驟2；

(2)將所述原始紅外圖像經過一層反卷積層處理，得到使其與可見光圖像分辨率相同的紅外圖像，將處理后的紅外圖像和可見光圖像做像素差，得到對應數據的殘差圖像后，轉到步驟4；

(3)將原始紅外圖像和可見光圖像做像素差，得到對應數據的殘差圖像，轉到步驟4后；

(4)將原始紅外圖像、原始可見光圖像以及殘差圖像進行張量拼接，并將輸出輸入到生成器中得到融合圖像；若待處理圖片對應的紅外圖像和可見光圖像的分辨率相同，則轉到步驟6，否則，轉到步驟5；

(5)將步驟4得到的融合圖像利用平均池化層進行下采樣操作，得到采樣后的融合圖像，與原始紅外圖像輪流輸入至紅外判別器，將未經過下采樣的融合圖像與原始可見光圖像輪流輸入至可見光判別器，與殘差圖像輪流輸入至殘差判別器；

(6)將步驟4得到的融合圖像與原始紅外圖像輪流輸入至紅外判別器、與原始可見光圖像輪流輸入至可見光判別器，與殘差圖像輪流輸入至殘差判別器；

(7)訓練過程使生成器的損失函數、各個判別器的損失函數盡量小，迭代步驟1-6直至訓練到設置的迭代次數，從而得到訓練好的改進的DDcGAN網絡模型；

測試階段將測試集中的原始紅外圖像和原始可見光圖像輸入到改進的DDcGAN網絡模型中，得到各個測試數據的融合圖像。

2.根據權利要求1所述的基于改進的DDcGAN模型的圖像融合方法，其特征在于，所述紅外判別器、可見光判別器以及殘差判別器的結構相同，均包括三個卷積層和批標準化層的累積，最后一個批標準化層的輸出作為全連接層的輸入，全連接層的輸出經過一個tanh激活函數，最終輸出一個標量。

3.根據權利要求1所述的基于改進的DDcGAN模型的圖像融合方法，其特征在于，所述生成器包括編碼器和解碼器，所述編碼器包括為5個卷積模塊組成，每個卷積模塊依次包括卷積層、批標準化層和線性整流單元，其中，每一個卷積層的輸入，都是前面所有線性整流函數的輸出的通道連接，最后，將五個線性整流單元的輸出進行連接送入解碼器，解碼器為四個卷積層、批標準化、線性整流單元這一結構的累積，將最后一個線性整流函數的輸出送入卷積層、批標準化和tanh函數這一結構，最后輸出融合圖像。

4.根據權利要求1所述的基于改進的DDcGAN模型的圖像融合方法，其特征在于，所述生成器的損失函數包括內容損失函數、對抗損失函數以及感知損失函數，表示為；

其中，為對抗損失函數，L_con為內容損失函數，L_VGG為感知損失函數，μ為對抗損失對應的權重，λ為內容損失函數對應的權重。

5.根據權利要求1所述的基于改進的DDcGAN模型的圖像融合方法，其特征在于，所述原始紅外圖像和原始可見光圖像的分辨率相同時，各個判別器的損失函數分別表示為：

可見光判別器的損失函數：

其中，E[]為對括號中內容求期望值，代表可見光圖像的梯度，代表融合圖像的梯度，為輸入可見光判別器的可見光圖像為真實可見光圖像的概率，為輸入可見光判別器的融合圖像為真實可見光圖像的概率；

紅外判別器的損失函數：

其中，D_i(i)為輸入紅外判別器的紅外圖像為真實紅外圖像的概率，D_i(G(v，i)為輸入紅外判別器的融合圖像為真實紅外圖像的概率；

殘差判別器的損失函數：

其中，D_d(d)為輸入殘差判別器的殘差圖像為真實殘差圖像的概率，D_d(G(v，i))為輸入殘差判別器的融合圖像為真實殘差圖像的概率。