[發(fā)明專利]基于分離表征的紅外可見光圖像融合方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110921055.6
• 申請(qǐng)日: 2021-08-11
• 公開（公告）號(hào): CN113706407B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計(jì)）人: 馬佳義;馬泳;梅曉光;張燦
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/50
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

1.基于分離表征的紅外可見光圖像融合方法，其特征在于，包括如下步驟：

步驟1，建立紅外和可見光圖像的分離表征網(wǎng)絡(luò)模型，所述分離表征網(wǎng)絡(luò)模型包括分離表征子模型和信息融合子模型，其中分離表征子模型包括信息編碼器和生成器；

首先，紅外和可見光圖像通過(guò)分離表征子模型中的信息編碼器分解為紅外圖像共有信息、可見光圖像共有信息、紅外與圖像特有信息及可見光圖像特有信息；其次，通過(guò)信息融合子模型將紅外與可見光圖像的共有信息生成融合后的共有信息，將紅外與圖像特有信息和可見光圖像特有信息生成融合后的特有信息；最后，將融合后的共有信息和融合后的特有信息輸入分離表征子模型的生成器，得到融合圖像；

步驟2，分別對(duì)分離表征子模型和信息融合子模型建立損失函數(shù)，訓(xùn)練分離表征網(wǎng)絡(luò)模型，得到優(yōu)化后的分離表征子模型和信息融合子模型；最后將待融合的紅外和可見光圖像輸入到優(yōu)化后的分離表征子模型和信息融合子模型中得到最終的融合圖像。

2.如權(quán)利要求1所述的基于分離表征的紅外可見光圖像融合方法，其特征在于：所述信息編碼器包括紅外圖像域R的共有信息編碼器可見光圖像域V的共有信息編碼器紅外圖像域R的紅外特有信息編碼器和可見光圖像域V的可見光特有信息編碼器信息編碼器的具體處理過(guò)程如下；

步驟a1.1，建立紅外圖像域R的共有信息編碼器和可見光圖像域V的共有信息編碼器所述的共有信息編碼器和為偽孿生網(wǎng)絡(luò)，均使用5層卷積層和2個(gè)殘差模塊從紅外圖像域R和可見光圖像域V中提取特征，卷積層的輸出特征圖的通道數(shù)為k，卷積核尺寸均為3×3，stride均設(shè)為1，最終生成k個(gè)通道的共有信息特征圖；共有信息編碼器和的第1層使用LReLU作為激活函數(shù)；第2到4層使用批歸一化的LReLU作為激活函數(shù)；和共享最后一層的參數(shù)，使用tanh作為激活函數(shù)，將紅外圖像域R和可見光圖像域V的共有信息嵌入到同一空間，殘差模塊在第3層和第5層后；

通過(guò)共有信息編碼器和從紅外圖像域R和可見光圖像域V中提取紅外和可見光圖像的共有信息c_r和c_v，c_r和c_v屬于共有信息域C，其數(shù)學(xué)表達(dá)式如下：

其中，i_r為紅外圖像域R中對(duì)應(yīng)的圖像，i_v為可見光圖像域V中對(duì)應(yīng)的圖像；

步驟a1.2，建立紅外圖像域R的紅外特有信息編碼器和可見光圖像域V的可見光特有信息編碼器所述的特有信息編碼器和為偽孿生網(wǎng)絡(luò)，均使用5層卷積層和1個(gè)殘差模塊從紅外圖像域R和可見光圖像域V中提取特征，卷積層的輸出特征圖的通道數(shù)為k，卷積核尺寸均為3×3，stride均設(shè)為1，最終生成k個(gè)通道的特有信息特征圖，特有信息編碼器和的第1層使用LReLU作為激活函數(shù)；第2到4層使用批歸一化的LReLU作為激活函數(shù)；最后一層使用tanh作為激活函數(shù)；其中殘差模塊在第3層卷積層后；

通過(guò)紅外特有信息編碼器和可見光特有信息編碼器從紅外圖像域R和可見光圖像域V中提取紅外特有信息u_r和可見光特有信息u_v，u_r屬于紅外特有信息域U_r，u_v屬于可見光特有信息域U_v，其數(shù)學(xué)表達(dá)式如下：

3.如權(quán)利要求2所述的基于分離表征的紅外可見光圖像融合方法，其特征在于：所述分離表征子模型中生成器的具體處理過(guò)程如下；

將經(jīng)過(guò)信息融合子模型處理后的紅外共有信息c_r、可見光共有信息c_v、紅外特有信息u_r和可見光特有信息u_v通過(guò)生成器G處理，映射回圖像域；所述的生成器G首先沿著通道維度將共有信息特征圖和特有信息特征圖串聯(lián)，再使用6層卷積層融合圖像，卷積層的輸出特征圖的通道數(shù)為k，卷積核尺寸均為3×3，stride均設(shè)為1，最終生成融合圖像；生成器G的卷積層的第1層使用LReLU作為激活函數(shù)；第2到5層使用批歸一化的LReLU作為激活函數(shù)；最后一層使用tanh作為激活函數(shù)。