[發明專利]基于顯著性檢測與改進雙通道的自適應融合方法及裝置

在審

• 申請號: 201811055347.0
• 申請日: 2018-09-11
• 公開（公告）號: CN109191417A
• 公開（公告）日: 2019-01-11
• 發明（設計）人: 程博陽;金龍旭;李國寧
• 申請（專利權）人: 中國科學院長春光學精密機械與物理研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/30;G06K9/46
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙) 44316
• 代理人: 曹衛良

本發明提供的基于顯著性檢測與改進雙通道的自適應融合方法及裝置，通過NSST作為多尺度分解工具，將圖像分解為一個低頻子帶和一系列高頻子帶；利用FT算法指導低頻子帶圖像的自適應加權融合；最后利用改進的雙通道PCNN模型對高頻子帶優化處理，可以更好地表達圖像的特征，取得了較好的融合效果。

技術領域

本發明涉及圖像融合領域，特別涉及一種基于顯著性檢測與改進雙通道的自適應融合方法及裝置。

背景技術

圖像融合是信息融合的一個重要分支，它將來自相同場景的多源圖像按照某種規則融合成一幅新的圖像，因此可以對該場景進行更為準確和更為全面的描述。紅外與可見光融合是目前應用最為廣泛的異源圖像融合，紅外傳感器通過探測物體自身的熱輻射生成圖像，能夠顯示隱藏的熱目標，受外界干擾因素影響較小；可見光成像傳感器是通過捕獲物體的反射生成圖像，具有高分辨率的細節信息；將兩者結合使用，可有效地突出目標，增加圖像的理解力。

目前針對紅外與可見光融合，學者們提出了許多方法，特別是針對像素級的紅外和可見光圖像融合。多尺度分解(MGA)是一種相對簡單而且容易獲得圖像特征的融合方法。源圖像通過多尺度的分解，形成不同尺度、不同方向的子帶圖像，通過對這些子帶處理，最終就能獲得相應的融合圖像。輪廓波變換、非下采樣輪廓波變換(NSCT)、雙樹復小波變換(DTCWT)、剪切波變換(ST)、非下采樣剪切波變換(NSST)等都是目前較為常用的多尺度分解工具，但在這些眾多的方法中，由于NSST分解速度最快、分解效果最為精細，因此受到很多研究者的青睞。NSST在方向局部化階段，采用局部化小尺寸剪切濾波器，能夠避免塊效應和弱化吉布斯振鈴現象，減少頻譜的混疊現象，提高時域卷積計算效率。

圖像在經過多尺度變換后，通常會對分解后的低頻圖像采用加權求和的融合規則，而對于紅外圖像和可見光圖像融合時，由于兩者低頻分量的光譜特性差異較大，權值的簡單平均規則會使融合圖像對比度降低。我們希望融合后的圖像能夠在人眼敏感的可見光視覺背景下，自適應的將隱藏的或者顯著的紅外目標及區域信息融入其中，這樣既不會導致融合圖像重構不自然，而且很好地保留了源圖像中顯著目標的信息。Achanta等人提出了一種基于調頻法(FT)的顯著性檢測方法，該方法可以對圖像中顯著性目標及區域較為精準地識別，從而形成相應的顯著圖。由于顯著圖包含了圖像灰度值在空間分布的權重信息，因此利用它作為權重函數，可以將低頻融合從加權平均變為加權自適應，有效地融合了圖像中的顯著信息，提高了融合效果。

高頻子帶由于包含了圖像的邊緣信息，往往采用“絕對值最大”的規則指導融合，其中較大的絕對值對應于更顯著的紋理特征，但這容易丟失源圖像的冗余信息。PCNN是一種新型的人工神經網絡模型，由于其具有全局耦合和神經元脈沖同步的特點，已經被廣泛應用于圖像融合。然而傳統PCNN模型的連接強度往往是恒定的，并且外界刺激一般采用單個像素值，為了彌補這些缺陷，需要對現有傳統PCNN模型進行改進，并且充分利用局部圖像信息，有效提取圖像細節。

發明內容

本發明實施例提供了一種基于顯著性檢測與改進雙通道的自適應融合方法及裝置，可以更好地表達圖像的特征，取得了較好的融合效果。

一方面，本發明提供了一種基于顯著性檢測與改進雙通道的自適應融合方法，所述方法包括：

獲取來自同一場景并進行圖像配準的紅外圖像和可見光圖像；

利用非下采樣剪切波變換NSST算法對所述紅外圖像和所述可見光圖像進行多尺度分解得到低頻子帶系數和高頻子帶系數；

針對低頻子帶系數采用基于FT算法進行自適應加權融合得到低頻融合系數，對高頻子帶系數采用改進的雙通道PCNN模型進行優化處理得到高頻融合系數；

利用NSST逆變換重構低頻融合系數和高頻融合系數得到融合圖像。

另一方面，本發明還提供了一種基于顯著性檢測與改進雙通道的自適應融合裝置，所述裝置包括：