[發明專利]一種新型的紅外和可見光圖像融合算法

有效

• 申請號: 202110294376.8
• 申請日: 2021-03-19
• 公開（公告）號: CN112950519B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 齊東浩;余毅;高策;張艷超;唐伯浩;徐嘉興;宋聰聰;劉晏瑞;張馨元
• 申請（專利權）人: 中國科學院長春光學精密機械與物理研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 長春眾邦菁華知識產權代理有限公司 22214
• 代理人: 張偉

1.一種新型的紅外和可見光圖像融合算法，其特征在于，包括以下步驟：

步驟一：利用非下采樣輪廓變換對預配準的紅外圖像I₁和可見光圖像I₂分別進行多尺度變換，得到所述紅外圖像I₁對應的帶通分量和低通分量以及所述可見光圖像I₂對應的帶通分量和低通分量

步驟二：利用深層神經網絡引導圖像深度特征的方法對所述低通分量和所述低通分量進行融合，得到低通分量融合圖像F_d(x,y)；

步驟二包括以下步驟：

步驟二一：利用深度殘差神經網絡ResNet152分別對所述低通分量和所述低通分量進行特征提取，得到所述低通分量對應的特征映射和所述低通分量對應的特征映射其中N為深度殘差神經網絡ResNet152的最大卷積塊序號；

步驟二二：對所述特征映射和所述特征映射分別依次進行L1正則化和上采樣操作，得到對應的權重映射W₁^d(x,y)和權重映射

步驟二三：根據所述權重映射W₁^d(x,y)和所述權重映射對所述低通分量和所述低通分量進行加權融合，得到低通分量融合圖像F_d(x,y)；

步驟三：利用取模最大值的方法對所述帶通分量和所述帶通分量進行比較，選擇最大值作為帶通分量融合的權值，并根據所述權值和公式(6)對所述帶通分量和所述帶通分量進行融合，得到帶通分量融合圖像F_b(x,y)；

其中，(x,y)表示和F_b(x,y)的像素位置；

步驟四：將所述低通分量融合圖像F_d(x,y)和所述帶通分量融合圖像F_b(x,y)通過非下采樣輪廓變換的逆變換進行重建，得到最終的融合圖像。

2.根據權利要求1所述的一種新型的紅外和可見光圖像融合算法，其特征在于，步驟二二包括以下步驟：

深度殘差神經網絡ResNet152對所述低通分量和所述低通分量進行特征提取得到的深層特征首先經過L1正則化，獲得初始權重映射其公式如下所示：

其中，m表示每個特征層所具有的通道數量，x、y分別代表著特征映射在二維數組中的行和列，t代表步長，η為權值參數；

利用雙三次插值運算分別對初始權重映射和初始權重映射進行上采樣操作，計算公式如下：

其中，W₁^d(x,y)為所述特征映射對應的權重映射，為所述特征映射對應的權重映射。

3.根據權利要求2所述的一種新型的紅外和可見光圖像融合算法，其特征在于，

最大卷積塊序號N的取值為N＝5，權值參數的取值為η＝2。