[發(fā)明專利]超參數(shù)保真與深度先驗(yàn)聯(lián)合學(xué)習(xí)的高光譜圖像超分辨方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011602987.6
• 申請(qǐng)日: 2020-12-29
• 公開(kāi)（公告）號(hào): CN112700370B
• 公開(kāi)（公告）日: 2023-06-13
• 發(fā)明（設(shè)計(jì)）人: 楊勁翔;肖亮
• 申請(qǐng)（專利權(quán)）人: 南京理工大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/0464;G06N3/08
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 陳鵬

本發(fā)明公開(kāi)了一種超參數(shù)保真與深度先驗(yàn)聯(lián)合學(xué)習(xí)的高光譜圖像超分辨方法，該方法包括：建立超參數(shù)保真模型深度先驗(yàn)正則化的高光譜和多光譜圖像融合的變分模型；優(yōu)化高光譜?多光譜圖像融合變分模型；對(duì)模型優(yōu)化迭代過(guò)程進(jìn)行張量化表示；對(duì)變分模型優(yōu)化的迭代過(guò)程進(jìn)行網(wǎng)絡(luò)展開(kāi)，執(zhí)行優(yōu)化的迭代過(guò)程；使用L1范數(shù)作為損失函數(shù)，訓(xùn)練網(wǎng)絡(luò)。本發(fā)明具有同時(shí)在網(wǎng)絡(luò)中表示高光譜圖像退化模型和數(shù)據(jù)先驗(yàn)的能力，應(yīng)用于高光譜?多光譜圖像融合具有優(yōu)異性能。

技術(shù)領(lǐng)域

本發(fā)明涉及高光譜-多光譜圖像融合技術(shù)，特別是一種超參數(shù)保真與深度先驗(yàn)聯(lián)合學(xué)習(xí)的高光譜圖像超分辨方法。

背景技術(shù)

高光譜圖像包含豐富的空譜信息，能夠在像素級(jí)區(qū)分場(chǎng)景的材料屬性，在遙感中具有重要的應(yīng)用價(jià)值。但是高光譜圖像的分辨率低，制約其在高分辨率對(duì)地觀測(cè)中的應(yīng)用。相比而言，多光譜圖像分辨率高，能夠?yàn)楦吖庾V圖像提供地物信息。目前，高光譜-多光譜圖像融合成為高光譜圖像分辨率的增強(qiáng)技術(shù)的重要研究方向。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)可以利用圖像的空間結(jié)構(gòu)提取特征，能夠自然地從高光譜和多光譜圖像提取深度空譜特征，進(jìn)而重構(gòu)高分辨率的高光譜圖像，因此在高光譜-多光譜圖像融合中受到廣泛關(guān)注。通過(guò)訓(xùn)練CNN表示高低分辨率圖像間的映射關(guān)系，CNN可以從低分辨率圖像推斷出高分辨率的高光譜圖像。目前，已有多種基于CNN網(wǎng)絡(luò)結(jié)構(gòu)被提出，例如，三維CNN、雙分支CNN和金字塔CNN，用于高光譜-多光譜圖像融合。這些CNN融合網(wǎng)絡(luò)主要是學(xué)習(xí)從低分辨率高光譜圖像和高分辨率多光譜圖像到高分辨率高光譜圖像間的映射關(guān)系，高光譜圖像的分辨率退化模型，未能在融合中充分利用上，使得CNN網(wǎng)絡(luò)結(jié)構(gòu)缺乏科解釋性，也限制了融合性能的提升。

最近，已有學(xué)者提出在融合網(wǎng)絡(luò)中利用高光譜圖像的分辨率退化模型，以提高網(wǎng)絡(luò)的可解釋性和融合性能。例如，Dian等人[R.Dian,S.Li,A.Guo,L.Fang,Deephyperspectral?image?sharpening.IEEE?Transactions?on?Neural?Networks?andLearning?Systems,(99),1-11,2018]在Sylvester框架中將CNN和高光譜圖像的分辨率退化模型結(jié)合，完成高光譜-多光譜圖像融合。Zhang等人[L.Zhang,J.Nie,W.Wei,Y.Zhang,etal,Unsupervised?Adaptation?Learning?for?Hyperspectral?Imagery?Super-Resolution.IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition,3073-3082,2020]假設(shè)高光譜圖像的空間退化模型已知，在CNN網(wǎng)絡(luò)中學(xué)習(xí)其光譜維退化模型，并通過(guò)無(wú)監(jiān)督自適應(yīng)學(xué)習(xí)，完成高光譜-多光譜圖像融合。Wang等人[W.Wang,W.Zeng,Y.Huang,X.Ding,J.Paisley,Deep?Blind?Hyperspectral?Image?Fusion.IEEEInternational?Conference?on?Computer?Vision,4150-4159,2019]提出在CNN網(wǎng)絡(luò)中交替學(xué)習(xí)退化模型和融合模型。Xie等人[Q.Xie,M.Zhou,Q.Zhao,Z.Xu,D.Meng,MHF-Net:AnInterpretable?Deep?Network?for?Multispectral?and?Hyperspectral?ImageFusion.IEEE?Transactions?on?Pattern?Analysis?and?Machine?Intelligence,2020]在CNN網(wǎng)絡(luò)中隱形的學(xué)習(xí)高光譜圖像的空間退化模型，結(jié)合低秩先驗(yàn)，重構(gòu)高分辨率的高光譜圖像。盡管上述方法取得了較好的融合性能，但是如何在CNN網(wǎng)絡(luò)中學(xué)習(xí)表示高光譜圖像的退化模型及其數(shù)據(jù)先驗(yàn)，還未得到充分研究。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種超參數(shù)保真與深度先驗(yàn)聯(lián)合學(xué)習(xí)的高光譜圖像超分辨方法，該方法建立深度先驗(yàn)正則的融合模型，通過(guò)從海量數(shù)據(jù)中學(xué)習(xí)高光譜圖像的退化模型和深度先驗(yàn)，重構(gòu)高分辨率的高光譜圖像，獲取優(yōu)異的融合性能。