[發(fā)明專利]一種新型的紅外和可見光圖像融合算法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110294376.8
• 申請(qǐng)日: 2021-03-19
• 公開（公告）號(hào): CN112950519B
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 齊東浩;余毅;高策;張艷超;唐伯浩;徐嘉興;宋聰聰;劉晏瑞;張馨元
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 長(zhǎng)春眾邦菁華知識(shí)產(chǎn)權(quán)代理有限公司 22214
• 代理人: 張偉

1.一種新型的紅外和可見光圖像融合算法，其特征在于，包括以下步驟：

步驟一：利用非下采樣輪廓變換對(duì)預(yù)配準(zhǔn)的紅外圖像I₁和可見光圖像I₂分別進(jìn)行多尺度變換，得到所述紅外圖像I₁對(duì)應(yīng)的帶通分量和低通分量以及所述可見光圖像I₂對(duì)應(yīng)的帶通分量和低通分量

步驟二：利用深層神經(jīng)網(wǎng)絡(luò)引導(dǎo)圖像深度特征的方法對(duì)所述低通分量和所述低通分量進(jìn)行融合，得到低通分量融合圖像F_d(x,y)；

步驟二包括以下步驟：

步驟二一：利用深度殘差神經(jīng)網(wǎng)絡(luò)ResNet152分別對(duì)所述低通分量和所述低通分量進(jìn)行特征提取，得到所述低通分量對(duì)應(yīng)的特征映射和所述低通分量對(duì)應(yīng)的特征映射其中N為深度殘差神經(jīng)網(wǎng)絡(luò)ResNet152的最大卷積塊序號(hào)；

步驟二二：對(duì)所述特征映射和所述特征映射分別依次進(jìn)行L1正則化和上采樣操作，得到對(duì)應(yīng)的權(quán)重映射W₁^d(x,y)和權(quán)重映射

步驟二三：根據(jù)所述權(quán)重映射W₁^d(x,y)和所述權(quán)重映射對(duì)所述低通分量和所述低通分量進(jìn)行加權(quán)融合，得到低通分量融合圖像F_d(x,y)；

步驟三：利用取模最大值的方法對(duì)所述帶通分量和所述帶通分量進(jìn)行比較，選擇最大值作為帶通分量融合的權(quán)值，并根據(jù)所述權(quán)值和公式(6)對(duì)所述帶通分量和所述帶通分量進(jìn)行融合，得到帶通分量融合圖像F_b(x,y)；

其中，(x,y)表示和F_b(x,y)的像素位置；

步驟四：將所述低通分量融合圖像F_d(x,y)和所述帶通分量融合圖像F_b(x,y)通過非下采樣輪廓變換的逆變換進(jìn)行重建，得到最終的融合圖像。

2.根據(jù)權(quán)利要求1所述的一種新型的紅外和可見光圖像融合算法，其特征在于，步驟二二包括以下步驟：

深度殘差神經(jīng)網(wǎng)絡(luò)ResNet152對(duì)所述低通分量和所述低通分量進(jìn)行特征提取得到的深層特征首先經(jīng)過L1正則化，獲得初始權(quán)重映射其公式如下所示：

其中，m表示每個(gè)特征層所具有的通道數(shù)量，x、y分別代表著特征映射在二維數(shù)組中的行和列，t代表步長(zhǎng)，η為權(quán)值參數(shù)；

利用雙三次插值運(yùn)算分別對(duì)初始權(quán)重映射和初始權(quán)重映射進(jìn)行上采樣操作，計(jì)算公式如下：

其中，W₁^d(x,y)為所述特征映射對(duì)應(yīng)的權(quán)重映射，為所述特征映射對(duì)應(yīng)的權(quán)重映射。

3.根據(jù)權(quán)利要求2所述的一種新型的紅外和可見光圖像融合算法，其特征在于，

最大卷積塊序號(hào)N的取值為N＝5，權(quán)值參數(shù)的取值為η＝2。