[發明專利]一種基于密集連接網絡的圖像融合方法

在審

• 申請號: 202110560960.3
• 申請日: 2021-05-20
• 公開（公告）號: CN113160104A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 程良倫;李鳳;吳衡;陳妍伶
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉曉娟

1.一種基于密集連接網絡的圖像融合方法，其特征在于，所述方法包括：

獲取待融合的第一圖像和第二圖像；

通過第一卷積層提取所述第一圖像和所述第二圖像的淺層特征，得到第一淺層特征圖和第二淺層特征圖；

通過密集連接網絡提取所述第一淺層特征圖和所述第二淺層特征圖的深層特征，得到第一深層特征圖和第二深層特征圖；

對所述第一深層特征圖和所述第二深層特征圖進行加權融合；

將加權融合后的特征圖進行重構，得到最終的融合圖像。

2.根據權利要求1所述的基于密集連接網絡的圖像融合方法，其特征在于，所述第一圖像包括紅外圖像，所述第二圖像包括可見光圖像；

所述獲取待融合的第一圖像和第二圖像的步驟，包括：

獲取紅外圖像和原始可見光圖像；

利用所述紅外圖像對所述原始可見光圖像進行預處理，得到可見光圖像。

3.根據權利要求2所述的基于密集連接網絡的圖像融合方法，其特征在于，所述利用所述紅外圖像對所述原始可見光圖像進行預處理，得到可見光圖像的步驟，包括：

確定所述紅外圖像的分辨率；

根據所述紅外圖像的分辨率對所述原始可見光圖像進行裁剪，得到可見光圖像。

4.根據權利要求1所述的基于密集連接網絡的圖像融合方法，其特征在于，所述密集連接網絡包括至少一個第二卷積層、至少三個密集連接的卷積塊和至少一個第三卷積層，每個卷積塊包括至少三個密集卷積層。

5.根據權利要求4所述的基于密集連接網絡的圖像融合方法，其特征在于，所述通過密集連接網絡提取所述第一淺層特征圖的深層特征，得到第一深層特征圖的步驟，包括：

通過所述密集連接網絡中的第二卷積層提取所述第一淺層特征圖的特征信息，并將所述特征信息輸入至所述卷積塊中；

依次通過每個卷積塊中的每個密集卷積層，將之前所有的第二卷積層和/或密集卷積層輸入的特征信息進行拼接，并將拼接后提取的特征信息傳遞至之后的各個密集卷積層中；

將所述卷積塊中最后一個密集卷積層輸出的特征圖輸入至所述第三卷積層中，通過所述第三卷積層提取所述特征圖的特征信息，得到第一深層特征圖。

6.根據權利要求4所述的基于密集連接網絡的圖像融合方法，其特征在于，所述通過密集連接網絡提取所述第二淺層特征圖的深層特征，得到第二深層特征圖的步驟，包括：

通過所述密集連接網絡中的第二卷積層提取所述第二淺層特征圖的特征信息，并將所述特征信息輸入至所述卷積塊中；

依次通過每個卷積塊中的每個密集卷積層，將之前所有的第二卷積層和/或密集卷積層輸入的特征信息進行拼接，并將拼接后提取的特征信息傳遞至之后的各個密集卷積層中；

將所述卷積塊中最后一個密集卷積層輸出的特征圖輸入至所述第三卷積層中，通過所述第三卷積層提取所述特征圖的特征信息，得到第二深層特征圖。

7.根據權利要求1所述的基于密集連接網絡的圖像融合方法，其特征在于，所述對所述第一深層特征圖和所述第二深層特征圖進行加權融合的步驟，包括：

確定所述第一深層特征圖的像素值和權值，以及所述第二深層特征圖的像素值和權值；

根據所述第一深層特征圖的像素值和權值，以及所述第二深層特征圖的像素值和權值，對所述第一深層特征圖和所述第二深層特征圖進行加權融合。

8.根據權利要求7所述的基于密集連接網絡的圖像融合方法，其特征在于，所述第一深層特征圖的權值和所述第二深層特征圖的權值相同。

9.根據權利要求1所述的基于密集連接網絡的圖像融合方法，其特征在于，所述重構過程包括至少四個第四卷積層。

10.根據權利要求9所述的基于密集連接網絡的圖像融合方法，其特征在于，所述將加權融合后的特征圖進行重構，得到最終的融合圖像的步驟，包括：

將所述加權融合后的特征圖輸入至所述第四卷積層中，通過所述第四卷積層對所述加權融合后的特征圖進行特征重構，得到最終的融合圖像。