[發明專利]一種基于顯著圖和興趣點凸包的紅外與可見光圖像融合方法

有效

• 申請號: 201510018267.8
• 申請日: 2015-01-14
• 公開（公告）號: CN104574335B
• 公開（公告）日: 2018-01-23
• 發明（設計）人: 孟繁杰;宋苗;閆允一;張旭;石瑞霞;單大龍
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 西安智萃知識產權代理有限公司61221
• 代理人: 李東京

技術領域

本發明屬于圖像處理技術領域，具體涉及一種基于顯著圖和興趣點凸包的紅外與可見光圖像融合方法。

背景技術

圖像融合就是把多個不同模式的圖像傳感器獲得的同一場景的多幅圖像，或同一傳感器在不同時刻或不同方式下獲得的多幅圖像合成一幅包含輸入圖像相關信息的圖像的過程。通過綜合利用不同圖像之間的互補信息和冗余信息，能夠獲得對該場景更為全面、準確的圖像描述。圖像融合技術已廣泛應用在軍事、遙感、機器人、醫學處理以及計算機視覺等領域中。

目前大多數圖像融合算法主要是基于單個像素或者是基于窗口提出的，是在圖像像素之間或者圖像經某種工具分解后系數之間或多或少是相互獨立的這一假設前提下提出的，顯然這一假設與事實并不相符。事實上，圖像中的目標特征并不是由單個像素能夠表征的，而是由局部區域表征的。因此，基于區域的圖像融合在實際中更具有意義，能夠獲得更好的融合效果。同時，基于區域的圖像融合算法還能夠降低算法對噪聲的靈敏程度以及對配準誤差具有較強的魯棒性。

近年來出現了一定數量的基于區域的圖像融合算法。如Lewis J J,O’Callaghan R J,Nikolov S G,et al.Pixel-and region-based image fusion with complex wavelets.Information Fusion.2007,8(2):119-130.以及文獻Aslantas V,Bendes E,Kurban R,Toprak A.N.New optimised region-based multi-scale image fusion method for thermal and visible images.Image Processing,IET.2014,8(5):289-299.所述，這些方法通過圖像分割算法提取目標區域，然后針對目標區域和背景區域制定不同的融合規則。

然而圖像分割一直是一個亟待突破的關鍵技術，目前很難找到一種通用的分割算法將目標完整地與背景分割開，而且目標易受部分缺損、背景混雜、仿射變換、光照等因素的干擾，導致分割正確率下降。

發明內容

本發明的目的是克服現有技術的不足，提升圖像融合性能，實現從源圖像中提取更多的有用信息，使紅外圖像中目標特性與可見光圖像中的背景信息有機地結合在一起。

為此，本發明提供了一種基于顯著圖和興趣點凸包的紅外與可見光圖像融合方法，包括如下步驟：

步驟一、對紅外圖像進行顯著性檢測，得到二值化顯著圖；

步驟二、對紅外圖像進行興趣點檢測；

步驟三、去掉游離的興趣點得到顯著興趣點；

步驟四、對顯著興趣點求取凸包；

步驟五、通過對紅外圖像的二值化顯著圖和凸包圖像做“與”運算，得到目標區域，圖像剩余部分作為背景區域；

步驟六、分別對目標區域和背景區域采取不同的融合規則，實現紅外與可見光圖像的融合。

上述步驟一、對紅外圖像進行顯著性檢測，得到二值化顯著圖，包括如下步驟：

(1.1)計算長度為M、寬度為N的紅外圖像的顯著圖S(x,y)：

S(x,y)＝|I_g(x,y)-I_u|(1)

I_g(x,y)是紅外圖像經過高斯濾波后的矢量圖，目的是對圖像進行平滑濾波，剔除噪聲；I_u是紅外圖像的像素算數平均值；

(1.2)通過設定閾值TH，將大小為M*N的紅外圖像顯著圖二值化得SM(x,y)：

則：

上述步驟二、對紅外圖像進行興趣點檢測是對紅外圖像進行Harris興趣點檢測；Harris算子H為：

H＝det(C)-ktrace²(C)(4)

其中，I_x,I_y和I_xy分別為圖像在x和y方向的偏導以及二階混合偏導；k為經驗值，通常取0.04～0.06；根據圖像取出Harris算子值最大的n個點，得到圖像的興趣點圖。

上述紅外圖像經過高斯濾波后得到矢量圖,采用的是3*3的模板進行濾波。

上述步驟三、去掉游離的興趣點得到顯著興趣點，包括如下步驟：

(3.1)紅外圖像興趣點集合為Q＝{q(x,y)|1≤x≤M,1≤y≤N}，興趣點個數為n，則興趣點質心O表示如下：