[發明專利]一種基于密集連接網絡的圖像融合方法

在審

• 申請號: 202110560960.3
• 申請日: 2021-05-20
• 公開（公告）號: CN113160104A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 程良倫;李鳳;吳衡;陳妍伶
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉曉娟

本發明提供的一種基于密集連接網絡的圖像融合方法，首先將獲取的第一圖像和第二圖像分別輸入至第一卷積層中，通過第一卷積層來提取第一圖像和第二圖像的淺層特征，接著，再將提取后得到的第一淺層特征圖和第二淺層特征圖分別輸入至密集連接網絡中，通過密集連接網絡提取第一淺層特征圖和第二淺層特征圖的深層特征，并且通過密集連接網絡提取的特征具有上下文聯系，能夠更好地進行圖像融合；最后，本申請對密集連接網絡中提取得到的第一深層特征圖和第二深層特征圖進行深層特征融合，并對融合后的特征進行重構后獲得最終的融合圖像，該融合圖像包含豐富的邊緣信息和場景信息，提高了融合質量。

技術領域

本發明涉及圖像融合技術領域，尤其涉及一種基于密集連接網絡的圖像融合方法。

背景技術

近年來，紅外和可見光圖像融合技術得到了廣泛的關注。紅外成像受環境影響較小，在惡劣天氣、光線較弱、目標突出的情況下仍能成像。可見光成像通過利用物體對可見光的反射，獲得邊緣清晰、輪廓清晰的可見光圖像。然而，由于紅外相機的固有特點，存在細節信息不明顯、對比度低、目標紋理信息不足等問題。因此，結合紅外和可見光圖像的優點，融合紅外和可見光圖像可以獲得信息豐富和魯棒性強的圖像。

目前，隨著深度學習的發展，許多基于深度學習的融合方法被廣泛用于紅外和可見光圖像融合領域中。通過利用卷積網絡獲得圖像特征和重建融合圖像，但基于卷積網絡的方法仍然存在缺陷，使用卷積網絡對圖像進行融合時，容易丟失中間層特征以及難以提取深層特征，使得最終得到的融合圖像的融合質量較低。

發明內容

本發明的目的旨在至少能解決上述的技術缺陷之一，特別是現有技術中使用卷積網絡對圖像進行融合時，容易丟失中間層特征以及難以提取深層特征，使得最終得到的融合圖像的融合質量較低的技術缺陷。

本發明提供了一種基于密集連接網絡的圖像融合方法，所述方法包括：

獲取待融合的第一圖像和第二圖像；

通過第一卷積層提取所述第一圖像和所述第二圖像的淺層特征，得到第一淺層特征圖和第二淺層特征圖；

通過密集連接網絡提取所述第一淺層特征圖和所述第二淺層特征圖的深層特征，得到第一深層特征圖和第二深層特征圖；

對所述第一深層特征圖和所述第二深層特征圖進行加權融合；

將加權融合后的特征圖進行重構，得到最終的融合圖像。

可選地，所述第一圖像包括紅外圖像，所述第二圖像包括可見光圖像；

所述獲取待融合的第一圖像和第二圖像的步驟，包括：

獲取紅外圖像和原始可見光圖像；

利用所述紅外圖像對所述原始可見光圖像進行預處理，得到可見光圖像。

可選地，所述利用所述紅外圖像對所述原始可見光圖像進行預處理，得到可見光圖像的步驟，包括：

確定所述紅外圖像的分辨率；

根據所述紅外圖像的分辨率對所述原始可見光圖像進行裁剪，得到可見光圖像。

可選地，所述密集連接網絡包括至少一個第二卷積層、至少三個密集連接的卷積塊和至少一個第三卷積層，每個卷積塊包括至少三個密集卷積層。

可選地，所述通過密集連接網絡提取所述第一淺層特征圖的深層特征，得到第一深層特征圖的步驟，包括：

通過所述密集連接網絡中的第二卷積層提取所述第一淺層特征圖的特征信息，并將所述特征信息輸入至所述卷積塊中；

依次通過每個卷積塊中的每個密集卷積層，將之前所有的第二卷積層和/或密集卷積層輸入的特征信息進行拼接，并將拼接后提取的特征信息傳遞至之后的各個密集卷積層中；