[發(fā)明專利]一種基于目標(biāo)預(yù)提取的無人機(jī)紅外與可見光圖像融合方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811243536.0
• 申請(qǐng)日: 2018-10-24
• 公開（公告）號(hào): CN109584193A
• 公開（公告）日: 2019-04-05
• 發(fā)明（設(shè)計(jì)）人: 吳國(guó)強(qiáng);包文龍;馬祥森;黃坤;郭茜;尹中義
• 申請(qǐng)（專利權(quán)）人: 航天時(shí)代飛鴻技術(shù)有限公司;中國(guó)航天電子技術(shù)研究院
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T7/11
• 代理公司: 北京金智普華知識(shí)產(chǎn)權(quán)代理有限公司 11401
• 代理人: 皋吉甫

1.一種基于目標(biāo)預(yù)提取的無人機(jī)紅外與可見光圖像融合方法，其特征在于，該方法具體包括以下步驟：

S1.對(duì)紅外圖像和可見光圖像進(jìn)行配準(zhǔn)；

S2.對(duì)配準(zhǔn)后的無人機(jī)紅外圖像和可見光圖像進(jìn)行目標(biāo)的預(yù)提取；

S3.采用區(qū)域分塊融合算法對(duì)配準(zhǔn)后的紅外圖像和可見光圖像的預(yù)提取區(qū)域的進(jìn)行圖像融合。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述S1的圖像梯度互信息的配準(zhǔn)方法采用的方法為圖像梯度互信息的配準(zhǔn)算法進(jìn)行處理，得到紅外配準(zhǔn)圖像和可見光配準(zhǔn)圖像。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述S2的目標(biāo)預(yù)提取步驟為：

S2.1分別對(duì)紅外配準(zhǔn)圖像和可見光配準(zhǔn)圖像進(jìn)行傅里葉變換，得到頻譜圖；

S2.2對(duì)紅外配準(zhǔn)圖像頻譜圖幅頻響應(yīng)進(jìn)行均值平滑，將平滑后的幅頻響應(yīng)與原始幅頻響應(yīng)作差，得到紅外圖像頻譜殘留；

S2.3對(duì)可見光配準(zhǔn)圖像頻譜圖幅頻響應(yīng)進(jìn)行均值平滑，將平滑后的幅頻響應(yīng)與原始幅頻響應(yīng)作差，得到可見光圖像頻譜殘留；

S2.4分別對(duì)可見光圖像頻譜殘留和紅外圖像頻譜殘留作逆傅里葉變換得到顯著圖，提取紅外配準(zhǔn)圖像和可見光配準(zhǔn)圖像中包含偵察目標(biāo)的區(qū)域作為預(yù)提取區(qū)域。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟2具體方法為：

首先，設(shè)輸入的紅外配準(zhǔn)圖像或可見光配準(zhǔn)圖像為I，令FFT和FFT^-1分別為圖像的快速傅里葉變換和快速逆傅里葉變換，

其次，將原圖變換為固定尺寸，有：

A(f)＝Amp{FFT(I)}，

P(f)＝Pha{FFT(I)}，

其中，A(f)為I幅頻響應(yīng)，P(f)為I相頻響應(yīng)；

然后采用均值濾波器h(x,y)與輸入圖像做卷積，以產(chǎn)生幅頻響應(yīng)的平均值

h(x,y)為均值濾波器，與輸入的單幅圖像做卷積，模擬多幅圖像作和后取平均值的效果，實(shí)際在圖像取平均過程中，采用尺寸為3*3的卷積核h₃(x,y)代替；

紅外圖像頻譜殘留或可見光配準(zhǔn)圖像頻譜殘留R(f)由下式計(jì)算求出：

R(f)＝log(A(f))-h₃(f)*log(A(f))，

最后對(duì)R(f)進(jìn)行逆傅里葉變換求得空間域的顯著圖，再利用高斯低通濾波器g(x,y)對(duì)顯著圖進(jìn)行平滑得到最后的顯著圖S，

S＝g(x,y)*FFT^-1[exp(R(f)+P(f))]，

g(x,y)為高斯低通濾波器，實(shí)際在圖像平滑過程中，采用尺寸為3*3、標(biāo)準(zhǔn)差δ為8的卷積核代替；

顯著圖S為單通道灰度圖，再對(duì)灰度圖進(jìn)行閾值分割；設(shè)S(x,y)為顯著圖S中某像素點(diǎn)的灰度值，E(S)是顯著圖S的平均灰度值，O為閾值分割后的顯著圖，則

threshod＝E(S)*3，

其中，threshold為分割閾值，E(S)為顯著圖S的平均灰度值，

對(duì)閾值分割后的顯著圖O進(jìn)行形態(tài)學(xué)和連通域分析后，求取連通域的最小外接矩形，即完成對(duì)閾值分割后的顯著圖O中目標(biāo)區(qū)域的預(yù)提取。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述S3的具體步驟為：

S3.1將提取得到的紅外配準(zhǔn)圖像目標(biāo)區(qū)域與對(duì)應(yīng)可見光配準(zhǔn)圖像區(qū)域均勻分割成N塊；同樣，將提取得到的可見光圖像目標(biāo)區(qū)域與對(duì)應(yīng)紅外配準(zhǔn)圖像區(qū)域均勻分割成N塊，N的取值與目標(biāo)區(qū)域尺寸有關(guān)，最低不小于25；

S3.2分別計(jì)算紅外配準(zhǔn)圖像預(yù)提取區(qū)域的顯著值及其對(duì)應(yīng)的可見光圖像區(qū)域的顯著值作為融合權(quán)重，同樣，分別計(jì)算可見光配準(zhǔn)圖像預(yù)提取區(qū)域的顯著值及其對(duì)應(yīng)的紅外圖像區(qū)域的顯著值作為融合權(quán)重；

S3.3對(duì)分割子區(qū)域進(jìn)行線性加權(quán)得到融合預(yù)提取的偵察目標(biāo)區(qū)域的融合圖像。