[發明專利]一種多源圖像高效融合方法、系統及介質

有效

• 申請號: 202310614277.2
• 申請日: 2023-05-29
• 公開（公告）號: CN116342455B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 李樹濤;劉錦洋;佃仁偉
• 申請（專利權）人: 湖南大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06V10/74;G06V10/774;G06V10/764;G06V10/82;G06N3/0464
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 譚武藝

1.一種多源圖像高效融合方法，其特征在于，包括針對由兩個特征提取網絡D和一個特征重建網絡F構成的多源圖像高效融合網絡進行下述訓練：

S101，建立待融合的兩類源圖像與的樣本對構成的樣本集；

S102，將樣本對的源圖像與分別輸入特征提取網絡D提取高維圖像特征與；

S103，將高維圖像特征與拼接得到融合特征，將融合特征輸入特征融合網絡F生成融合圖像；將高維圖像特征與分別輸入至中間信息層L_i生成權重與；所述中間信息層L_i由1×1卷積層與Tanh激活函數組合而成；

S104，將權重與分別與融合圖像相乘，得到兩張權重融合圖像和；將權重和源圖像相乘、權重和源圖像相乘，得到兩張權重源圖像和；

S105，計算根據權重融合圖像與權重源圖像之間的相似性設計的損失函數Loss的值，若損失函數Loss的值滿足預設的收斂條件，則判定特征提取網絡D和特征融合網絡F訓練完畢；否則，調整特征提取網絡D和特征融合網絡F的網絡參數，跳轉步驟S102；

步驟S103中設計的損失函數Loss為梯度損失函數、強度損失函數兩者的加權求和，其中梯度損失函數為結構相似性的指數度量SSIM的梯度損失函數、結構相似性的均方誤差MSE的梯度損失函數兩者的加權求和，所述結構相似性包括權重融合圖像與權重源圖像之間的相似性，以及權重融合圖像與權重源圖像權重源圖像之間的相似性；所述結構相似性的指數度量SSIM的梯度損失函數的計算函數表達式為：

，

上式中，為結構相似性的指數度量SSIM的梯度損失函數，SIMM為結構相似性的指數度量，與為待融合的兩類源圖像，為融合圖像，W₁和W₂均為權重矩陣，為逐元素相乘；所述結構相似性的均方誤差MSE的梯度損失函數的計算函數表達式為：

，

上式中，為結構相似性的均方誤差MSE的梯度損失函數，MSE為結構相似性的均方誤差，與為待融合的兩類源圖像，為融合圖像，和均為權重矩陣，為逐元素相乘；所述強度損失函數的計算函數表達式為：

，

上式中，為強度損失函數，MSE為結構相似性的均方誤差，與為待融合的兩類源圖像，為融合圖像，和均為權重矩陣，為逐元素相乘；所述權重矩陣、、、的計算函數表達式為：

，

，

，

，

上式中，為常數系數，Fgrad為梯度算子，與分別為高維圖像特征與的張量，sigmoid為歸一化函數，Fmean為計算張量的均值，中間變量和的計算函數表達式為：

，

上式中，和?為中間變量，且有：

，

，

其中sqrt為平方根計算。

2.根據權利要求1所述的多源圖像高效融合方法，其特征在于，所述特征重建網絡F進行特征重建以獲得融合圖像包括：將融合特征通過3×3的卷積層得到通道數為64的張量，再經過激活函數LeakyReLU生成激活后的張量，再將激活后的張量通過3×3的卷積層把通道數降低為1，最后再經過激活函數LeakyReLU得到最后的融合圖像。

3.根據權利要求1所述的多源圖像高效融合方法，其特征在于，所述特征提取網絡D提取高維圖像特征包括：將源圖像通過3×3的卷積層得到通道數為32的張量，再經過激活函數LeakyReLU生成激活后的張量，再將激活后的張量通過3×3的卷積層把通道數提升為64，最后再經過激活函數LeakyReLU得到源圖像對應的高維圖像特征。

4.一種多源圖像高效融合系統，包括相互連接的微處理器和存儲器，其特征在于，所述微處理器被編程或配置以執行權利要求1～3中任意一項所述多源圖像高效融合方法。

5.一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有計算機程序，其特征在于，所述計算機程序用于被微處理器編程或配置以執行權利要求1～3中任意一項所述多源圖像高效融合方法。