[發明專利]一種基于改進的DDcGAN模型的圖像融合方法

有效

• 申請號: 202010528747.X
• 申請日: 2020-06-11
• 公開（公告）號: CN111833282B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 毛雅淇
• 申請（專利權）人: 毛雅淇
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/0464;G06N3/045;G06N3/0475;G06N3/094
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 王恒靜

本發明公開了一種基于改進的DDcGAN模型的圖像融合方法，引入了殘差圖像作為生成器的輸入，且增加了殘差圖像判別器，不斷地對原始殘差圖像和融合圖像進行判別，我們的融合過程更好的保留了紅外和可見光圖像有差異的部分，在融合圖像中表現為：紅外圖像的熱輻射信息得到了保留和增強，物體與背景之間的對比度高于紅外圖像中的原始對比度，這更有利于后續的目標檢測；可見光圖像中的紋理細節得到了更大程度的保留，這同樣對后續的目標檢測和識別精度的提高有很大益處；由于生成器的損失函數部分引入了感知損失以考慮感知相似度，可以同時提取到紅外圖像與可見光圖像中的高級特征，這使得融合圖像的自然結構不會被破壞。

技術領域

本發明涉及圖像融合技術領域，具體涉及一種基于改進的DDcGAN模型的圖像融合方法。

背景技術

圖像融合，目的是將更多自然環境中的信息呈現在同一幅圖像中，盡可能地展現與物體固有真實情況相似的結果。紅外與可見光圖像融合的目的是，將紅外傳感器捕獲到的紅外輻射圖像與可見光傳感器捕獲到的可見光圖像相融合，生成穩健或信息豐富的圖像，同時獲取紅外輻射信息和紋理特征信息。其中紅外圖像包含熱輻射信息，而可見光圖像包含反射光信息，兩者都是物體固有的，又可互為補充，更好的表達真實的場景，大幅提高了圖像的可理解度，即使在照明條件差的情況下，熱目標也可以通過高對比度突出顯示。因此，紅外與可見光圖像融合在軍事和民用的視覺感知、圖像處理、目標檢測和識別等領域發揮著重要作用。

圖像融合的關鍵是提取源圖像中的重要信息并進行融合。為此，研究人員提出了多種特征提取策略和融合規則，如基于多尺度變換的方法、稀疏表示方法、子空間、顯著性、混合方法等。這些工作雖然取得了良好的效果，但也存在一些不足之處：

1)在傳統方法中，手工設計的規則使得方法越來越復雜。

2)基于深度學習的方法專注于特征的提取和保存，而沒有考慮到特征在后續處理和應用中的增強。

3)由于硬件的限制，紅外圖像的分辨率往往較低。對可見光圖像進行下采樣或對紅外圖像進行上采樣的方法會導致圖像的輻射信息模糊或紋理細節丟失。

為了應對上述問題，DDcGAN(Dual?Discriminators?Conditional?GenerativeAdversarial?Network)應運而生，其是由馬佳義等人于2020年正式提出的，發表于https://ieeexplore.ieee.org/document/9031751，然而，其所采用的對訓練集圖像隨機的分塊的方式很可能會破壞圖像的特征，即連續的詳細紋理信息和熱輻射分布信息。而且，對于低分辨率的紅外圖像，這種方法依然會導致圖像細節丟失。

發明內容

發明目的：為了克服現有技術的不足，本發明提供一種基于改進的DDcGAN模型的圖像融合方法，該方法解決了現有技術存在的紅外與可見光圖像融合圖像目標不夠突出，紋理信息不夠豐富的問題。

技術方案：本發明提出基于改進的DDcGAN模型的圖像融合方法，包括訓練階段和測試階段，所述訓練階段包括以下步驟：

(1)提取訓練數據集中各個待處理圖片對應的原始紅外圖像和原始可見光圖像，判斷所述原始紅外圖像和原始可見光圖像的分辨率是否相同，若相同，則直接進入步驟3，否則，進入步驟2；

(2)將所述原始紅外圖像經過一層反卷積層處理，得到使其與可見光圖像分辨率相同的紅外圖像，將處理后的紅外圖像和可見光圖像做像素差，得到對應數據的殘差圖像后，轉到步驟4；

(3)將原始紅外圖像和可見光圖像做像素差，得到對應數據的殘差圖像，轉到步驟4后；

(4)將原始紅外圖像、原始可見光圖像以及殘差圖像進行張量拼接，并將輸出輸入到生成器中得到融合圖像；若待處理圖片對應的紅外圖像和可見光圖像的分辨率相同，則轉到步驟6，否則，轉到步驟5；