[發明專利]基于全變分深度學習的圖像融合方法及其應用與系統

在審

• 申請號: 202010138279.5
• 申請日: 2020-03-03
• 公開（公告）號: CN111353966A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 謝春芝;高志升
• 申請（專利權）人: 西華大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/40
• 代理公司: 成都方圓聿聯專利代理事務所(普通合伙) 51241
• 代理人: 宋紅賓

本發明公開了一種基于全變分深度學習的圖像融合方法及其應用與系統，其中所述融合方法以源圖像和/或預融合圖像特征值作為輸入，以經全變分模型獲得的優化目標函數作為損失函數，通過卷積神經網絡得到融合圖像。本發明可用于紅外圖像與可見光圖像的融合中，是一種通用的、非局部最優化的、可用于非凸函數優化的圖像融合方法，具有較強的魯棒性，在客觀評價指標和融合圖像的視覺效果兩個方面顯著優于當前先進的圖像融合方法。

技術領域

本發明涉及圖像融合的技術領域。

背景技術

圖像融合就是將多幅相同場景的源圖像特征信息融合成一幅綜合的圖像，該圖像在包含源圖像豐富信息的同時還具有良好的視覺效果。當前，圖像融合方法可分為以下七類：多尺度變換、稀疏表示、顯著性檢測、子空間、神經網絡、變分和混合模型。

其中混合模型的方法是結合多種類型的圖像融合方法，發揮各類方法的優勢以彌補單一方法的不足，進而提高融合圖像的質量。多尺度變換是當前最為成熟的也最為成功的一類圖像融合方法，其主要包括3個步驟：首先將源圖像分解變換為低頻和高頻系數，然后設計融合規則將各個系數進行融合，最后將融合系數進行逆向變換得到融合圖像。稀疏表示的方法是使用已訓練的超完備字典表示源圖像，然后將源圖像的稀疏因子進行融合，最后將融合后的稀疏因子通過超完備字典重構為融合圖像。顯著性檢測的方法是通過衡量源圖像信息的豐富程度生成顯著性矩陣，然后利用顯著性矩陣和源圖像生成融合圖像。子空間的方法是將高維空間的源圖像映射到低維空間或子空間，然后將低維空間的源圖像元素進行融合，最后將融合后的低維空間元素逆映射到高維空間形成融合圖像。上述幾種方法經過多年的研究，已經比較成熟，但其多數公開的技術方案都只能在特殊的圖像和個別的評價指標上有提高，難以獲得新的突破。例如，基于多尺度變換的方法難以找到更好的變換方式，基于稀疏分解的方法難以設計更新的融合規則，基于顯著性分析的方法往往融合圖像一致性欠佳等等。在此基礎上，近年來，基于神經網絡的圖像融合方法和基于全變分的圖像融合方法成為新的熱門研究方向。

神經網絡的方法是利用深度卷積神經網絡對源圖像進行表示學習，提取源圖像的特征，設計融合模型實現特征融合，然后利用融合的特征重構融合圖像，與傳統圖像融合方法相比，基于神經網絡的圖像融合方法在特征提取，模型的優化和泛化能力方面有著獨特的優勢。全變分的方法是將圖像融合問題轉換為模型優化的問題，通過對模型的求解得到融合圖像。全變分方法具有能夠充分保留源圖像低頻信息和融合圖像具有較好的一致性兩個方面的優勢。

但在上述兩種方法中，現有技術中基于深度神經網絡區域識別的方法存在與顯著性區域判別融合相似的一致性問題，網絡表征層級的融合存在融合規則和方法難以直觀解釋的困難；而一般全變分求解方法要求模型是凸優化模型，這極大阻礙了全變分用于圖像融合中模型的設計和求解，也使得該類方法在圖像融合實際應用中難以獲得更好的評價指標和視覺效果，主要表現為融合圖像邊緣較為模糊，邊緣紋理評價指標較低。一方面現有的能求解的全變分模型難以符合圖像融合的直觀物理意義，設計新的全變分模型，由于非凸等因素，傳統方法又難以求解。

發明內容

本發明的目的在于提出一種通用的、非局部最優化的、可用于非凸函數優化的圖像融合方法，該方法得到的融合圖像具有較強的魯棒性，在客觀評價指標和融合圖像的視覺效果兩個方面顯著優于當前先進的圖像融合方法。

本發明的目的還在于提出一種使用上述融合方法的系統。

本發明的目的還在于提出上述融合方法或系統的應用。

本發明的目的還在于提出一種用于圖像融合效果評價的評價方法。

本發明首先提出了如下的技術方案：

基于全變分深度學習的圖像融合方法，其包括：以源圖像和/或預融合圖像特征值作為輸入，以優化目標函數作為損失函數，通過卷積神經網絡得到融合圖像，其中所述優化目標函數通過全變分模型獲得。

根據本發明的一些具體實施方式，其包括以下步驟：