[發明專利]基于多尺度變換與脈沖耦合神經網絡的圖像融合方法

在審

• 申請號: 202110696686.2
• 申請日: 2021-06-23
• 公開（公告）號: CN113421200A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 伍云霞;張海蘭
• 申請（專利權）人: 中國礦業大學（北京）
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T7/33;G06N3/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明的目的在于提供一種基于多尺度變換與脈沖耦合神經網絡的圖像融合方法，該方法直接面向圖像融合技術，將對齊后的可見光與紅外圖像進行多尺度變換，采用非下采樣剪切波變換把輸入圖像分解成高低子頻帶，采用快速引導濾波進行顯著性檢測，改進脈沖耦合神經網絡的模型，采用PA?PCNN從空間紋理分布以及亮度分布上對圖像進行多區域劃分，最后對處理后的高低子頻帶進行逆NSST變換生成融合圖像。該方法既解決了基于區域的圖像融合方法所獲得的圖像細節不夠豐富，易出現偽影的問題，又提高了算法的執行效率，且顯著性檢測也使得融合的圖像具有良好的視覺效果。

技術領域

本發明屬于圖像融合方法領域，尤其涉及一種基于多尺度變換與脈沖耦合神經網絡的圖像融合方法。

背景技術

圖像融合是信息融合學科領域的一部分，是對同一場景中采用多種傳感器獲取的多個圖像集合成一幅圖像，從中增強信息的可讀性，根據良好的細節信息和顯著的目標特征從而實現對圖像更精準全面又可靠的解讀。圖像融合技術現已廣泛應用于醫學診斷、遙感探測、礦產勘探以及軍事與安防監控等諸多領域。可見光成像具有豐富的顏色、形狀與紋理信息，但是在低光照高濃度粉塵煙霧以及雨雪夜間等環境下，受背景噪聲干擾嚴重，成像質量較差。而在這些特殊環境下紅外成像具有一定的優勢，但紅外成像分辨率低，邊緣紋理易受損模糊?？梢姽馀c紅外圖像傳感器的成像特點及其局限性使得利用單一的傳感器難以完成不同場景條件下的識別、探測與跟蹤等任務，而通過可見光成像和紅外成像互補，可以彌補特殊環境對可見光成像的影響，改善紅外成像的邊緣質量與分辨率，便于獲得更加完備、精準的目標圖像信息。

已有可見光與紅外圖像的融合方法可分為基于變換域的融合和基于空間域的融合，基于變換域的融合，近年來集中于多尺度變換方法，傳統的算法如拉普拉斯金字塔、主成分分析、高斯金字塔、小波變換、曲波變換、輪廓波變換，這些方法具有特征提取效率低、信息冗余等問題，改進算法有非下采樣輪廓波變換、非下采樣剪切波變換、非下采樣雙樹復輪廓波變換等，而這些方法進行多尺度多方向分解及逆變換時比較耗時，變換域的融合策略普遍存在融合效果不高的問題。基于空間域的融合策略直接在圖像像素上進行操作，在執行效率上具有一定的優勢，可見光與紅外圖像的目標區域和背景區域具有顯著不同的特性，為了凸顯目標特征，分解背景區域保留細節，降低融合邊緣偽影現象，如何進行基于區域的圖像融合以及融合規則的制定是基于空間域融合面臨的問題。

因此，需要一種解決或至少改善現有技術中固有的一個或多個問題的圖像融合方法。

發明內容

為解決上述問題，本發明提出一種基于多尺度變換與脈沖耦合神經網絡的融合方法。將對齊后的可見光與紅外圖像進行多尺度變換，獲取不同尺度下的圖像信息，采用非下采樣剪切波變換把輸入圖像分解成高低子頻帶，采用快速引導濾波進行顯著性檢測，改善偽影問題。提高算法執行效率，改進脈沖耦合神經網絡的模型，采用自適應脈沖耦合神經網絡從空間紋理分布以及亮度分布上對圖像進行多區域劃分，滿足可見光與紅外圖像融合過程中保留紅外目標亮度信息和可見光背景紋理信息的需求。該方法既解決了基于區域的圖像融合方法所獲得的圖像細節不夠豐富，易出現偽影的問題，又提高了算法的執行效率，且顯著性檢測也使得融合的圖像具有良好的視覺效果。

根據一種實施例形式，提供一種基于可見光和紅外圖像融合的煤巖界面識別方法，其特征在于包括以下步驟：

A.取同一場景下同一時刻的可見光圖像I_VI與紅外圖像I_IR；

B.對I_VI與I_VI進行配準，以紅外圖像為基準，將可見光圖像與其對齊，得到對齊的可見光

圖像AI_VI；

C.通過多尺度變換與脈沖耦合神經網絡對圖像AI_VI與I_IR進行融合，其圖像融合過程與融合規則如下步驟：