[發(fā)明專利]一種無監(jiān)督的多模態(tài)圖像融合方法

在審

• 申請?zhí)枺?/td>: 201911332757.X
• 申請日: 2019-12-22
• 公開（公告）號: CN111260594A
• 公開（公告）日: 2020-06-09
• 發(fā)明（設計）人: 侯春萍;夏晗;楊陽;王霄聰;莫曉蕾
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/33;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

1.一種無監(jiān)督的多模態(tài)圖像融合方法，包括下列步驟：

第一步，基于多場景下的可見光和紅外多源模態(tài)視頻和圖像配準數(shù)據(jù)構建數(shù)據(jù)集；

第二步，搭建融合模型，其結構基于含殘差模塊的卷積神經(jīng)網(wǎng)絡：融合網(wǎng)絡由卷積塊、殘差卷積塊、輸出塊構成，卷積塊共3個，由3×3的卷積層、批歸一化層(BatchNormalization)、線性整流單元(ReLU)激活層構成，卷積層用以提取邊緣信息等淺層特征，此外，批歸一化層和ReLU激活函數(shù)用以避免在訓練過程中出現(xiàn)梯度消失問題；融合網(wǎng)絡的殘差卷積塊共5個，包含兩個3×3的卷積層，以及后接的實例歸一化模塊(InstanceNormalization)，在5個殘差卷積塊后，使用輸出塊輸出圖像，其由9×9的卷積層、批歸一化層、Tanh激活層組成，融合網(wǎng)絡中所有卷積層的步長均為1，且不通過卷積層進行下采樣操作，融合網(wǎng)絡輸出為源圖像尺寸相同的融合圖像。

第三步，搭建判別模型：該模型由三組結構相同，權值參數(shù)共享的孿生子網(wǎng)絡組成，輸入多通道連接圖像，輸出為特征圖，特征圖上每個位置表示了輸入圖像對應區(qū)域內(nèi)的邏輯概率；基于在特征空間上的圖像映射，定義圖像的邏輯概率，即紅外可見光多模態(tài)源圖像輸入判別網(wǎng)絡所得到的結果為邏輯真(Logit real)，融合圖像和可見光圖像輸入、紅外和融合圖像輸入得到的結果的加權和，設定為邏輯假(Logit fake)，使得邏輯假的特征圖像的數(shù)據(jù)分布盡量去逼近邏輯真的分布，使得融合網(wǎng)絡生成的融合圖像，能夠同時逼近可見光和紅外多源圖像的數(shù)據(jù)分布，其保留源圖像信息的能力達到最大，融合圖像質(zhì)量最高；

第四步，設計生成對抗模型的損失函數(shù)，分別是多源信息損失，用于提升融合網(wǎng)絡的多源信息保留能力；相似性損失，用于判別融合結果與源圖像的相似性；對抗損失，用于融合網(wǎng)絡和判別網(wǎng)絡間的聯(lián)合訓練方向約束；

第五步，通過迭代步驟進行模型聯(lián)合對抗訓練：首先將紅外和可見光多源圖像進行通道連接，將通道連接圖像輸入到基于殘差模塊的融合網(wǎng)絡，生成融合圖像；第二步，將融合圖像分別和可見光圖像、紅外圖像輸入結構和參數(shù)均相同的孿生子網(wǎng)絡，在經(jīng)過判別網(wǎng)絡得到的特征空間中，結合基于邏輯表示設計的相似性損失函數(shù)，進行基于表示學習和度量學習的無監(jiān)督相似度度量，在無理想標簽的情況下，完成對圖像融合結果包含信息量的判別，并對判別模型中孿生子網(wǎng)絡D的參數(shù)進行更新；第三步，通過計算多源信息損失和最小二乘損失，進行融合網(wǎng)絡G的參數(shù)更新；在迭代次數(shù)內(nèi)循環(huán)往復，進而實現(xiàn)G和D的聯(lián)合對抗訓練，得到理想的模型參數(shù)。

2.根據(jù)權利要求1所述的方法，其特征在于，第一步中，數(shù)據(jù)集中的數(shù)據(jù)需包含顯著的外部環(huán)境變化，光照變化和種類變化，區(qū)分訓練集和測試集，將訓練集中的圖像對經(jīng)過滑窗操作，得到大小固定的圖像子塊，并設定相關參數(shù)。