[發明專利]基于卷積神經網絡與顯著性權重的圖像融合方法

有效

• 申請號: 201910336960.8
• 申請日: 2019-04-25
• 公開（公告）號: CN110097617B
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 郝群;閆雷;曹杰;袁莉莉;李國梁
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06N3/04
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 鄔曉楠

本發明公開的基于卷積神經網絡與顯著性權重的圖像融合方法，屬于圖像信息融合技術領域。本發明通過導向濾波實現源圖像的基礎層和細節層的分解，得到源圖像的細節層和基礎層；利用顯著性權重對分解后的基礎層進行融合，得到對比度增強的融合后的基礎層圖像；對源圖像細節層進行多分辨率奇異值分解，將分解后源圖像細節層進行卷積神經網絡多層特征提取與融合，獲得包含精細細節的源圖像細節層融合，重構得到高質量融合圖像。本發明獲得的高質量融合圖像具有較高的對比度信息，包含源圖像的細節層信息，有助于突出顯著性目標，提高目標識別的檢測效率。此外，本發明根據實際融合需求，改變方法中的網絡結構，實現不同的融合效果，具有較強的通用性。

技術領域

本發明涉及一種基于卷積神經網絡與顯著性權重的圖像融合方法，特別是涉及圖像在卷積神經網絡中融合方法，屬于圖像信息融合技術領域。

背景技術

通過各種傳感器獲得的多傳感器數據通過圖像融合提供補充信息。與來自單個傳感器的圖像相比，圖像融合產生了良好的可視化和豐富的信息。因此，它被廣泛應用于許多領域，如遙感，模式識別，醫學成像和軍事。

一般圖像融合方法分為四類:(1)多尺度分解；(2)稀疏表示；(3)空間域變換；以及(4)混合變換。自拉普拉斯金字塔的融合方法提出，基于多尺度分解理論的典型圖像融合方法已應用于圖像融合。此外，在該領域中已經提出了大量基于多尺度變換的圖像融合方法。一些例子是形態金字塔，離散小波變換，雙樹復數小波變換，非下采樣輪廓波變換，以及非下采樣的基于剪切變換的方法?；谙∈璞硎镜姆椒ń⒃谛盘栂∈枥碚摰幕A上，其中自然信號可以近似表示為來自字典的“少數”原子的線性組合。與基于多尺度分解和基于稀疏表示的方法不同，基于空間域的方法將圖像在不同的變換空間計算，例如PCA和IHS。基于混合變換的方法同時使用多種變換方法，旨在結合各種變換的優點以實現高融合效果。然而，這些方法增加了時間消耗。

最近，深度學習在許多圖像處理任務中取得了優異的性能，例如圖像摳圖，識別和分類。此外，深度學習在圖像融合中的應用已經在很大程度上引起了學術界的關注。當前已經實現了使用卷積神經網絡來實現多焦點圖像與紅外/可見光圖像融合。然而，對于實際應用，這種方法有兩個缺點：1)基層的“平均”融合方案容易降低圖像的對比度；2)VGG-19網絡提取的圖像特征相對較大，導致失去了細節。

發明內容

本發明公開的基于卷積神經網絡與顯著性權重的圖像融合方法要解決的技術問題是：提高融合圖像的對比度，增強融合圖像的精細細節，提高融合圖像質量。本發明融合后的高質量圖像能夠為后續的目標識別，目標探測等提供有力支撐，為解決圖像融合領域相關工程問題提供支持。

本發明的目的是通過下述技術方案實現的。

本發明公開的基于卷積神經網絡與顯著性權重的圖像融合方法，通過導向濾波實現源圖像的基礎層和細節層的分解，得到源圖像的細節層和基礎層。利用顯著性權重對分解后的基礎層進行融合，得到對比度增強的融合后的基礎層圖像。同時對源圖像細節層進行多分辨率奇異值分解，將分解后的源圖像細節層進行卷積神經網絡多層特征提取與融合，獲得包含精細細節的源圖像細節層融合。最終重構得到高質量融合圖像。該方法獲得的高質量融合圖像具有較高的對比度信息，包含源圖像的細節層信息，有助于突出顯著性目標，提高目標識別的檢測效率。此外，根據實際融合需求，改變方法中的網絡結構，實現不同的融合效果，具有較強的通用性。

本發明公開的基于卷積神經網絡與顯著性權重的圖像融合方法，包括如下步驟：

步驟一：利用導向濾波實現源圖像的基礎層和細節層的分解，得到源圖像的細節層和基礎層。

源圖像導向濾波分解公式為：

其中