[發明專利]一種紅外與可見光圖像的快速配準與融合方法

在審

• 申請號: 202010978976.1
• 申請日: 2020-09-17
• 公開（公告）號: CN112053392A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 陳震;盧鋒;張聰炫;張弛;江少鋒;危水根
• 申請（專利權）人: 南昌航空大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T5/50
• 代理公司: 南昌市平凡知識產權代理事務所 36122
• 代理人: 張文杰

本發明公開了一種紅外與可見光圖像的快速配準與融合方法，利用紅外傳感器與可見光傳感器同時采集同一場景的圖像，采用奇異值分解，求得紅外圖像平面坐標系與可見光圖像平面坐標系之間轉換的單應性矩陣；以可見光圖像為基準圖像，通過單應性變換得到與之配準的紅外圖像；將基準圖像與已配準紅外圖像采用自適應權重的像素點疊加方法進行圖像融合。本發明針對紅外與可見光兩種異源傳感器圖像的融合，實現優勢互補，解決了在弱可見光的條件下，可見光圖像特征不易提取、配準難的問題；同時在保證一定的融合精度的基礎上，大大提高圖像融合的速度，解決了在實際應用中實時性問題。

技術領域

本發明涉及圖像處理方法，是基于單應性變換的快速圖像配準和基于自適應權重的像素點疊加的圖像融合，特別涉及一種紅外與可見光圖像的快速配準與融合方法。

背景技術

圖像融合是將同一場景的兩幅或多幅圖像按特定的算法進行融合，使融合后的單幅圖像包含的信息更全面，更適合人的視覺理解與計算機檢測、分類、識別等任務。目前，圖像融合技術在許多領域都得到了廣泛的應用，包括遙感圖像的分析和處理、計算機視覺、無人駕駛、醫學圖像處理及目標檢測與跟蹤等領域。其中在目標檢測與跟蹤領域，主要采用可見光，可見光圖像能夠提供目標的細節和紋理信息，但在可見度低的條件下，可見光的工作效果會受到很大影響；而紅外的成像機理與可見光成像不同，可以有效地在可見度低的條件下對熱目標成像，但其對場景亮度變化不敏感，成像分辨率低。

發明內容

本發明的目的是提供一種紅外與可見光圖像的快速配準與融合方法，將紅外圖像與可見光圖像進行融合，使得融合圖像既能凸顯紅外目標，又能保留可見光圖像的空間細節信息，以便于對場景的整體理解，以解決目前在實際工程應用中，紅外與可見光圖像配準與融合的實時性問題，在保證一定融合精度的基礎上，提高融合的速度。

為了實現上述目的，本發明采用以下技術方案。一種紅外與可見光圖像的快速配準與融合方法，其步驟如下：

1)設定一個空曠、縱深大于100米并具有明顯物體特征的自然場景區域；

2)利用紅外傳感器與可見光傳感器同時采集同一場景的圖像，分別提取32組特征點，并將紅外圖像的特征點(u,v)與可見光圖像的特征點(x,y)一一對應對齊，構成32組特征點集；

3)利用上述特征點集，采用奇異值分解，求得紅外圖像平面坐標系與可見光圖像平面坐標系之間轉換的單應性矩陣T，即紅外圖像與可見光圖像的配準參數矩陣；紅外圖像的平面齊次坐標(u,v,1)與可見光圖像的平面齊次坐標(x,y,1)的單應性變換公式如下：

式中：h₁…h₉為單應性矩陣T的九個待求元素；

則紅外圖像的特征點(u,v)與可見光圖像的特征點(x,y)轉換關系公式為：

由公式(2)可知，通過圖像平面中的一對特征點(u,v)與(x,y)，便可列出方程組如下：

由上述32組特征點集列出32組方程組通過奇異值分解可求解出單應性矩陣T；

4)利用上述單應性矩陣T，以可見光圖像為基準圖像，通過單應性變換得到與之配準的紅外圖像；

5)將上述基準圖像與已配準紅外圖像進行圖像融合，通過自適應權重的像素點疊加實現紅外圖像與可見光圖像的快速融合，每個對應像素點的疊加公式如下：

F(x)＝αf(x)+(1-α)f'(x) (4)