[發(fā)明專利]一種飛行器態(tài)勢感知用多源圖像實(shí)時融合方法及其裝置

有效

• 申請?zhí)枺?/td>: 201710203953.1
• 申請日: 2017-03-30
• 公開（公告）號: CN106971385B
• 公開（公告）日: 2019-10-01
• 發(fā)明（設(shè)計(jì)）人: 劉向增;盧強(qiáng)
• 申請（專利權(quán)）人: 西安微電子技術(shù)研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/00
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 徐文權(quán)

1.一種飛行器態(tài)勢感知用多源圖像實(shí)時融合方法，其特征在于，包括以下步驟：

步驟1，以可見光圖像為基準(zhǔn)圖像，通過圖像配準(zhǔn)方法獲取第一變換參數(shù)Tfin，并且對紅外圖像進(jìn)行變換，實(shí)現(xiàn)圖像灰度的插值，得到變換后的紅外圖像；第一變換參數(shù)Tfin的計(jì)算步驟是：

步驟1.1，對實(shí)時采集的紅外圖像和可見光圖像進(jìn)行幀同步處理；

步驟1.2，計(jì)算紅外圖像和可見光圖像的尺度變化參數(shù)S，其中S＝IVF*PsIR/IRF/PsIV，IVF為可見光相機(jī)的焦距，PsIV為可見光相機(jī)的像元尺寸，IRF為紅外相機(jī)的焦距，PsIR為紅外相機(jī)的像元尺寸；

步驟1.3，S＜3&S＞0.3時，采用TopN-SURF匹配算法，否則采用帶通紋理信息匹配算法；TopN-SURF匹配算法包括以下步驟：

步驟1.3.1，提取多個特征點(diǎn)，并且建立特征點(diǎn)的質(zhì)量空間和最小堆二叉樹，對手選特征點(diǎn)Hessian響應(yīng)值進(jìn)行排序；

步驟1.3.2，確定圖像之間的初始變換參數(shù)Tor，根據(jù)初始變換參數(shù)中的旋轉(zhuǎn)參數(shù)對待匹配圖像進(jìn)行旋轉(zhuǎn)；

步驟1.3.3，根據(jù)圖像實(shí)時的焦距及像元尺寸信息，通過S＝IVF*PsIR/IRF/PsIV計(jì)算圖像之間的尺度變化參數(shù)S，進(jìn)而對特征匹配區(qū)域范圍進(jìn)行限定；

步驟1.4，根據(jù)相應(yīng)的匹配算法確定并輸出第一變換參數(shù)Tfin；

帶通紋理信息匹配算法包括以下步驟：

步驟1.3.a，根據(jù)尺度變化參數(shù)S和初始變換參數(shù)Tor，計(jì)算第二變換參數(shù)Tnew；

步驟1.3.b，使用第二變換參數(shù)Tnew對待配準(zhǔn)圖像I_sen進(jìn)行變換，得到變換后的圖像TI_sen，其中TI_sen＝I_sen*Tnew；

步驟1.3.c，對參考圖像I_ref的某一區(qū)域通過高斯濾波進(jìn)行帶通紋理信息提取得到BP_ref：BP_ref＝Gauss(δ₁)*I_ref-Gauss(δ₂)*I_ref；對變換后圖像TI_sen的某一區(qū)域通過高斯濾波進(jìn)行帶通紋理信息提取得到BP_sen：BP_sen＝Gauss(δ₁)*TI_sen-Gauss(δ₂)*TI_sen；

步驟1.3.d，計(jì)算BP_ref和BP_sen的相關(guān)系數(shù)Corr，并確定最終的平移變換參數(shù)Tran_xf和Tran_yf；

步驟1.3.e，輸出第一變換參數(shù)Tfin

步驟2，將可見光圖像從彩色空間變換到HSI空間，并提取I分量；

步驟3，通過FAMBED分解算法將可見光圖像的I分量、變換后的紅外圖像分解到不同的頻率層上；FAMBED分解可見光包括以下步驟：

步驟3.1，將可見光圖像IV提取出的I分量賦給初始圖像IVI，并按照濾波器窗口的大小確定統(tǒng)計(jì)次序；

步驟3.2，對初始圖像IVI進(jìn)行最大/小濾波，并平滑，獲得極大/小包絡(luò)曲面U_E和L_E，并且獲得平均包絡(luò)曲面M_E；

步驟3.3，將初始圖像IVI與平均包絡(luò)曲面M_E差分得到第一層高頻分量IMF₁，并將平均包絡(luò)曲面M_E傳回輸入端；

步驟3.4，重復(fù)步驟3.1-3.3，獲得第二層高頻分量IMF₂、第三層高頻分量IMF₃和低頻分量Residue；

步驟4，對分解的頻率層進(jìn)行融合處理，其中低頻圖像層采用加權(quán)平均融合，高頻圖像層采用分解值的最大化加權(quán)融合；

步驟5，通過FAMBED重構(gòu)以及HSI逆變換，獲得融合圖像。

2.根據(jù)權(quán)利要求1所述的飛行器態(tài)勢感知用多源圖像實(shí)時融合方法，其特征在于，所述步驟5中FAMBED重構(gòu)為：將得到的融合后的頻率層求和。