[發明專利]基于全變分深度學習的圖像融合方法及其應用與系統

在審

• 申請號: 202010138279.5
• 申請日: 2020-03-03
• 公開（公告）號: CN111353966A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 謝春芝;高志升
• 申請（專利權）人: 西華大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/40
• 代理公司: 成都方圓聿聯專利代理事務所(普通合伙) 51241
• 代理人: 宋紅賓

1.基于全變分深度學習的圖像融合方法，其包括：以源圖像和/或預融合圖像特征值作為輸入，以優化目標函數作為損失函數，通過卷積神經網絡得到融合圖像，其中所述優化目標函數通過全變分模型獲得。

2.根據權利要求1所述的融合方法，其特征在于：包括以下步驟：

S1：對一到多個源圖像進行預融合，得到預融合圖像；

S2：設置初始化參數，通過卷積神經網絡自一到多個源圖像中分別提取特征信息添加至預融合圖像，得到本次融合圖像；

S3：通過本次融合圖像與預融合圖像建立全變分模型，得到本次優化目標函數；

S4:將本次優化目標函數作為卷積神經網絡損失函數，經過反向計算，得到新的參數，在新的參數下，通過卷積神經網絡自一到多個源圖像中分別提取特征信息添加至最新的融合圖像中，得到新的本次融合圖像；

S5：通過新的本次融合圖像與上次融合圖像建立全變分模型，得到新的優化目標函數，其后重復步驟S4-S5，至所述損失函數到達最小，得到可輸出的融合圖像；

優選的，每次融合中，所述添加進行一到多次；

優選的，所述添加自源圖像或卷積后的源圖像中提取信息；

優選的，所述預融合圖像或上次融合圖像在添加信息前先進行自卷積；

優選的，所述本次融合圖像在完成添加后進行自卷積。

3.根據權利要求1所述的融合方法，其特征在于：包括以下步驟：

S₁：以源圖像中的某一個圖像作為基礎圖像；

S₂，設置初始化參數，通過卷積神經網絡自一到多個源圖像中分別提取特征信息添加至基礎圖像，得到本次融合圖像；

S₃：通過本次融合圖像與基礎圖像建立全變分模型，得到本次優化目標函數；

S₄:將本次優化目標函數作為卷積神經網絡損失函數，經過反向計算，得到新的參數，在新的參數下，通過卷積神經網絡自一到多個源圖像中分別提取特征信息添加至最新的融合圖像中，得到新的本次融合圖像；

S₅：通過新的本次融合圖像與上次融合圖像建立全變分模型，得到新的優化目標函數，其后重復步驟S4-S5，至所述損失函數到達最小，得到可輸出的融合圖像；

優選的，每次融合中，所述添加進行一到多次；

優選的，所述添加自源圖像或卷積后的源圖像中提取信息；

優選的，所述預融合圖像或上次融合圖像在添加信息前先進行自卷積；

優選的，所述本次融合圖像在完成添加后進行自卷積。

4.根據權利要求1-3中任一項所述的融合方法，其特征在于：所述預融合圖像為所述源圖像經融合算法融合得到，優選的，所述融合算法選自dwt、nsct和sr算法中的任一種。

5.根據權利要求1-4中任一項所述的融合方法，其特征在于：所述優化目標函數為其中F代表本次融合圖像，F_p代表上次融合圖像、或預融合圖像或基礎圖像，α表示相應約束項的范數階數,E_r(F)為正則化約束項，λ為正則化系數。

6.根據權利要求1-5中任一項所述的融合方法，其特征在于：所述優化目標函數為其中V和R分別為可見光圖像和紅外圖像的特征矩陣，▽表示梯度算子，max{-，-}表示矩陣元素對應位置取大，H、W分別表示輸入圖像的高度和寬度，‖-‖表示矩陣的Frobenius范數。

7.根據權利要求2或3所述的融合方法，其特征在于：所述通過卷積神經網絡自一到多個源圖像中分別提取特征信息添加至預融合圖像、或基礎圖像或最新的融合圖像中的方式為從一到多個源圖像中提取互補信息，經連接運算與所述預融合圖像、或基礎圖像或最新融合圖像融合。