[發明專利]超參數保真與深度先驗聯合學習的高光譜圖像超分辨方法

有效

• 申請號: 202011602987.6
• 申請日: 2020-12-29
• 公開（公告）號: CN112700370B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 楊勁翔;肖亮
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/0464;G06N3/08
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 陳鵬

本發明公開了一種超參數保真與深度先驗聯合學習的高光譜圖像超分辨方法，該方法包括：建立超參數保真模型深度先驗正則化的高光譜和多光譜圖像融合的變分模型；優化高光譜?多光譜圖像融合變分模型；對模型優化迭代過程進行張量化表示；對變分模型優化的迭代過程進行網絡展開，執行優化的迭代過程；使用L1范數作為損失函數，訓練網絡。本發明具有同時在網絡中表示高光譜圖像退化模型和數據先驗的能力，應用于高光譜?多光譜圖像融合具有優異性能。

技術領域

本發明涉及高光譜-多光譜圖像融合技術，特別是一種超參數保真與深度先驗聯合學習的高光譜圖像超分辨方法。

背景技術

高光譜圖像包含豐富的空譜信息，能夠在像素級區分場景的材料屬性，在遙感中具有重要的應用價值。但是高光譜圖像的分辨率低，制約其在高分辨率對地觀測中的應用。相比而言，多光譜圖像分辨率高，能夠為高光譜圖像提供地物信息。目前，高光譜-多光譜圖像融合成為高光譜圖像分辨率的增強技術的重要研究方向。

卷積神經網絡(CNN)可以利用圖像的空間結構提取特征，能夠自然地從高光譜和多光譜圖像提取深度空譜特征，進而重構高分辨率的高光譜圖像，因此在高光譜-多光譜圖像融合中受到廣泛關注。通過訓練CNN表示高低分辨率圖像間的映射關系，CNN可以從低分辨率圖像推斷出高分辨率的高光譜圖像。目前，已有多種基于CNN網絡結構被提出，例如，三維CNN、雙分支CNN和金字塔CNN，用于高光譜-多光譜圖像融合。這些CNN融合網絡主要是學習從低分辨率高光譜圖像和高分辨率多光譜圖像到高分辨率高光譜圖像間的映射關系，高光譜圖像的分辨率退化模型，未能在融合中充分利用上，使得CNN網絡結構缺乏科解釋性，也限制了融合性能的提升。

最近，已有學者提出在融合網絡中利用高光譜圖像的分辨率退化模型，以提高網絡的可解釋性和融合性能。例如，Dian等人[R.Dian,S.Li,A.Guo,L.Fang,Deephyperspectral?image?sharpening.IEEE?Transactions?on?Neural?Networks?andLearning?Systems,(99),1-11,2018]在Sylvester框架中將CNN和高光譜圖像的分辨率退化模型結合，完成高光譜-多光譜圖像融合。Zhang等人[L.Zhang,J.Nie,W.Wei,Y.Zhang,etal,Unsupervised?Adaptation?Learning?for?Hyperspectral?Imagery?Super-Resolution.IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition,3073-3082,2020]假設高光譜圖像的空間退化模型已知，在CNN網絡中學習其光譜維退化模型，并通過無監督自適應學習，完成高光譜-多光譜圖像融合。Wang等人[W.Wang,W.Zeng,Y.Huang,X.Ding,J.Paisley,Deep?Blind?Hyperspectral?Image?Fusion.IEEEInternational?Conference?on?Computer?Vision,4150-4159,2019]提出在CNN網絡中交替學習退化模型和融合模型。Xie等人[Q.Xie,M.Zhou,Q.Zhao,Z.Xu,D.Meng,MHF-Net:AnInterpretable?Deep?Network?for?Multispectral?and?Hyperspectral?ImageFusion.IEEE?Transactions?on?Pattern?Analysis?and?Machine?Intelligence,2020]在CNN網絡中隱形的學習高光譜圖像的空間退化模型，結合低秩先驗，重構高分辨率的高光譜圖像。盡管上述方法取得了較好的融合性能，但是如何在CNN網絡中學習表示高光譜圖像的退化模型及其數據先驗，還未得到充分研究。

發明內容

本發明的目的在于提供一種超參數保真與深度先驗聯合學習的高光譜圖像超分辨方法，該方法建立深度先驗正則的融合模型，通過從海量數據中學習高光譜圖像的退化模型和深度先驗，重構高分辨率的高光譜圖像，獲取優異的融合性能。