[發(fā)明專利]一種無監(jiān)督的多模態(tài)圖像融合方法

在審

• 申請?zhí)枺?/td>: 201911332757.X
• 申請日: 2019-12-22
• 公開（公告）號: CN111260594A
• 公開（公告）日: 2020-06-09
• 發(fā)明（設計）人: 侯春萍;夏晗;楊陽;王霄聰;莫曉蕾
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/33;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

本發(fā)明涉及一種無監(jiān)督的多模態(tài)圖像融合方法，包括下列步驟：基于多場景下的可見光和紅外多源模態(tài)視頻和圖像配準數(shù)據(jù)構建數(shù)據(jù)集；搭建融合模型，其結構基于含殘差模塊的卷積神經(jīng)網(wǎng)絡；搭建判別模型；設計生成對抗模型的損失函數(shù)，分別是多源信息損失，用于提升融合網(wǎng)絡的多源信息保留能力；相似性損失，用于判別融合結果與源圖像的相似性；對抗損失，用于融合網(wǎng)絡和判別網(wǎng)絡間的聯(lián)合訓練方向約束；第五步，通過迭代步驟進行模型聯(lián)合對抗訓練。

技術領域

本發(fā)明屬于深度學習、計算機視覺和圖像融合領域，涉及一種基于生成對抗學習和孿生網(wǎng)絡，無監(jiān)督 端到端的，紅外和可見光多模態(tài)圖像融合方法。

背景技術

受成像機理的制約，從單一源模態(tài)的圖像中，無法得到所有必需信息。紅外圖像(IR,Infrared Image) 相較于可見光圖像(VI,Visible Image)，具有如下特征：能夠減少陽光煙霧等外部影響、對具有明顯紅外 熱特性的目標和區(qū)域敏感。但同時，可見光圖像則具有更高的空間分辨率，更豐富的紋理結構細節(jié)和更優(yōu) 質的人眼視覺反饋[1]。

圖像融合(Information Fusion)的任務是，針對同一場景下不同模態(tài)的多源圖像，以最大程度提取多 源互補信息為目的，生成應用于后續(xù)視覺感知與處理的融合圖像，用IF表示。圖像融合技術不僅是檢測、 跟蹤等高級計算機視覺任務的基礎；也可作為遙感圖像全色銳化、醫(yī)療影像處理、電力缺陷檢測等工程應 用的重要基礎[1-2]。圖像融合技術通過對不同傳感器獲得的信息進行多層次的綜合處理，從而獲得最有效 的信息，去除冗余信息，提高系統(tǒng)處理效率。

對于像素級圖像融合，現(xiàn)有算法主要分為基于變換域的方法、基于空間域的方法和基于深度學習的方 法[2-3]等。現(xiàn)有各種方法仍存在通用性不夠強、圖像表示能力弱、計算效率較低等問題。在基于深度學習 的方法方面，基于PCNN的方法[4]等取得了較好的效果，基于生成對抗網(wǎng)絡等圖像生成和模態(tài)信息遷移的 方法，在圖像融合領域也取得了一定的創(chuàng)新性研究突破[5,6,7]。但與此同時，由于無法得到理想的圖像融 合標簽，也進一步限制了基于模態(tài)信息遷移和圖像生成的圖像融合方法的發(fā)展。

生成對抗學習的思想基于零和博弈理論，其通過同時訓練生成模型和對抗模型，能夠根據(jù)給定標簽估 計并生成新分布，并使兩個分布的距離最小化[8]，在風格遷移、圖像生成等計算機視覺方向有著較深入的 研究和應用進展。

孿生網(wǎng)絡的主要思想，是將輸入的成對數(shù)據(jù)通過網(wǎng)絡映射到目標空間，通過丈量在目標空間中的距離 來對比相似度。孿生網(wǎng)絡具有兩個以上結構相同，參數(shù)共享的并行子網(wǎng)絡，每個子網(wǎng)絡采用不同的輸入[9]。 在訓練的過程中，參數(shù)更新在多個子網(wǎng)絡上共同進行，孿生網(wǎng)絡可以在少樣本或無標簽情況下精準分類。 孿生網(wǎng)絡的意義,在于通過學習得到的變換空間中的特征，來引入圖像表示的新途徑，進而解決圖像融合領 域無理想標簽樣本的問題。

[1]MA Jiayi,MA Yong,LI Chang,et al.Infrared and visible image fusionmethods and applications:A survey[J].Information Fusion,2018:153-178.

[2]LI Shutao,KANG Xudong,FANG Leyuan,et al.Pixel-level image fusion:Asurvey of the state of the art[J].Information Fusion,2017,33:100-112.

[3]LIU Yu,CHEN Xun,WANG Zengfu,et al.Deep learning for pixel-levelimage fusion:Recent advances and future prospects[J].Information Fusion,2018,42:158-173.