[發(fā)明專利]基于多狀態(tài)上下文隱馬爾科夫模型的紅外和可見光圖像融合方法

在審

• 申請?zhí)枺?/td>: 202010638215.1
• 申請日: 2020-07-06
• 公開（公告）號: CN111754447A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計）人: 羅曉清;蔣鈺婷;張戰(zhàn)成;席新星;王正桓
• 申請（專利權(quán)）人: 江南大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06K9/62
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 劉秋彤;梅洪玉

本發(fā)明公開了基于多狀態(tài)上下文隱馬爾科夫模型的紅外和可見光圖像融合方法，主要解決紅外和可見光圖像融合時細節(jié)丟失和對比度不高的問題。其實現(xiàn)步驟是：1)對待融合圖像進行NSST變換，得到低頻和高頻子帶；2)低頻子帶采用區(qū)域能量差異度的加權(quán)融合規(guī)則；3)高頻子帶設(shè)計了上下文隸屬度，并建立MCHMM，根據(jù)多狀態(tài)統(tǒng)計特征設(shè)計融合規(guī)則；4)融合后的高、低頻系數(shù)執(zhí)行NSST逆變換獲得融合圖像。本發(fā)明充分考慮了系數(shù)之間的相關(guān)性，精確地表示源圖像的紋理、細節(jié)等特征，充分提取紅外圖像的目標信息，增強圖像的對比度，改善視覺效果，相比傳統(tǒng)的融合方法極大地提高了融合圖像的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于多狀態(tài)上下文隱馬爾科夫模型的紅外和可見光圖像融合方法，是紅外和可見光圖像處理技術(shù)領(lǐng)域的一項融合方法。

背景技術(shù)

圖像融合是對源圖像的信息進行綜合處理并加以整合,最終得到一幅更精確、更豐富和全面的融合圖像。紅外與可見光圖像融合是圖像融合領(lǐng)域中一個重要的研究方向。可見光圖像可以反映真實環(huán)境情況，具有較好的顏色等信息，但受云雨、霧等氣象條件影響很大。紅外圖像反映的是景物溫度差或輻射差，細節(jié)表現(xiàn)不明顯，對比度低，其可視性不是很理想。根據(jù)圖像各自獨有的特性進行優(yōu)勢互補，得到一副既保持可見光圖像精細的視覺信息，又包含紅外圖像中目標信息的融合圖像。在安全監(jiān)控、霧天駕駛、資源檢測和軍事作戰(zhàn)等領(lǐng)域有著極為廣泛的應(yīng)用價值。

目前，多尺度分解MSD(Multi-scale Decomposition)是進行圖像融合的重要手段。MSD工具的選擇和融合規(guī)則的設(shè)計是多尺度幾何分析融合方法的關(guān)鍵因素。各種MSD工具已經(jīng)被廣泛應(yīng)用，例如離散小波變換，曲波變換，輪廓波變換等等。然而，上述多尺度變換均包含下采樣，且容易在奇異點附近出現(xiàn)偽吉布斯現(xiàn)象。隨著對小波變換的深入研究，Easley等人于2008年提出非下采樣剪切波變換NSST(Non-subsampled ShearletTransform)，由于用卷積替換了下采樣，所以其具有平移不變性，從而可以有效地抑制偽吉布斯現(xiàn)象。此外，NSST具有分解速度快，方向敏感的優(yōu)點。因此，本發(fā)明選用NSST作為MSD工具。

NSST域分解系數(shù)在尺度間、方向間和空間鄰域內(nèi)存在極強的統(tǒng)計相關(guān)性，利用統(tǒng)計模型可以更準確地表示源圖像?；谏舷挛牡碾[馬爾可夫模型CHMM(Contextual HiddenMarkov Model)能夠?qū)ο禂?shù)的分布進行準確的描述，同時利用上下文信息(ContextInformation)有效地捕獲NSST域高頻方向子帶系數(shù)在尺度間、方向間和空間鄰域內(nèi)的相關(guān)性。但是，傳統(tǒng)的上下文變量定義為二值離散變量來反映系數(shù)的上下文細節(jié)性，這種定義不夠準確。同時CHMM僅從兩個狀態(tài)對圖像高頻系數(shù)進行區(qū)分，將圖像分為邊緣(大)狀態(tài)和平滑(小)狀態(tài)，對圖像的細節(jié)捕捉不夠準確，得到的統(tǒng)計參數(shù)精度不夠，導致融合圖像質(zhì)量不高。因此，本發(fā)明設(shè)計上下文細節(jié)隸屬度用來精確的描述系數(shù)的細節(jié)性，并采用多狀態(tài)上下文隱馬爾可夫模型MCHMM對紅外和可見光圖像高頻方向子帶進行統(tǒng)計建模。

為了提高融合圖像的性能，融合規(guī)則的選取同樣至關(guān)重要。通常，低頻融合采用簡單的取平均或絕對值取大的融合策略，本發(fā)明中選用基于區(qū)域能量差異度的加權(quán)融合規(guī)則，更好地保持了圖像的對比度，突出目標信息。高頻系數(shù)融合通常采用絕對值取大或基于區(qū)域特征取大的融合策略。本發(fā)明提出的上下文細節(jié)隸屬度可以精確的反映圖像在尺度間、方向間和鄰域內(nèi)的依賴性，在此基礎(chǔ)上構(gòu)建MCHMM捕捉圖像在各狀態(tài)下的細節(jié)性，根據(jù)系數(shù)的多狀態(tài)細節(jié)度和上下文細節(jié)隸屬度得到系數(shù)的活動測度。該活動測度能夠更準確的解釋圖像，從而提高融合圖像的質(zhì)量。

發(fā)明內(nèi)容

本發(fā)明的目的是針對上述現(xiàn)有技術(shù)的不足，提出一種基于多狀態(tài)上下文隱馬爾科夫模型的紅外和可見光圖像融合方法，以有效的捕獲圖像的細節(jié)并突出圖像的目標信息，增強圖像對比度，改善其視覺效果，提高融合圖像的質(zhì)量。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案如下：