[發明專利]一種基于深度先驗信息的高光譜圖像超分辨率方法

在審

• 申請號: 202011025262.5
• 申請日: 2020-09-25
• 公開（公告）號: CN112184553A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 陳捷;王修珩
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 金鳳

本發明公開了一種基于深度先驗信息的高光譜圖像超分辨率方法，首先利用雙流融合神經網絡融合插值后的低分辨率高光譜圖像和與其空間配準的高分辨率彩色圖像，學習潛在高分辨率高光譜圖像的先驗信息；然后利用神經網絡的輸出表征學習到的先驗信息，將深度先驗信息表征構造正則項約束基于退化物理模型的目標函數；最后通過求解Sylvester方程得到該目標函數的最優解，同時自動估計正則項參數調整退化物理模型和先驗信息的貢獻度，在最優正則項參數下重建出高分辨率高光譜圖像。本發明最大程度地復原了光譜和空間信息，從而得到高質量的高分辨率高光譜圖像，同時算法運行速度快，實用性好。

技術領域

本發明屬于圖像處理領域，具體涉及一種圖像超分辨方法。

背景技術

高光譜成像能夠同時獲取同一場景不同波長的一系列圖像，高光譜圖像提供的豐富光譜特性在在遙感領域中起著至關重要的作用。相比于傳統圖像(如彩色和灰度圖像)，真實場景中的高光譜圖像包含更豐富的光譜信息，可以被廣泛運用于遙感地物檢測，軍事偵察和刑偵輔助等任務中。然而，為了得到可接受的信噪比，高光譜成像的高光譜分辨率以犧牲空間分辨率為代價，而低空間分辨率限制了高光譜圖像的應用。因此，提高高光譜圖像的空間分辨率是非常有必要的。

由于硬件層面的限制，直接研發同時具有高光譜分辨率和高空間分辨率的高光譜相機是非常難的。而現有的傳統相機能夠整合多高光譜波段的場景反射，拍攝出空間分辨率高但光譜分辨率低的彩色或全色圖像。因此，很多研究人員將目光投向低空間分辨率高光譜圖像和高空間分辨率傳統圖像的融合，以得到高空間分辨率的高光譜圖像，這個過程被稱之為高光譜圖像融合或高光譜圖像超分辨。

目前最先進的主流高光譜超分辨技術可以大致分為傳統優化方法和深度學習方法兩種。傳統的優化方法通過定義先驗信息，并設計正則項，約束由物理退化模型得到的目標函數，通過優化目標函數得到高分辨率高光譜圖像,這種方法利用了退化物理模型的信息，往往能夠取得比較好的結果，但是手動設計的正則項往往會使得優化求解變得復雜，算法非常耗時。與此同時，主流的傳統優化方法中，通過手動調參得到的正則項參數，使得算法缺乏對不同輸入數據的適應性，一定程度上限制了方法的實用性。深度學習方法通過直接學習低空間分辨率高光譜圖像、高空間分辨率彩色圖像到高分辨率高光譜圖像之間的網絡映射，這種算法可以部署在GPU上進行大規模并行計算，推演速度快，但是沒有利用到物理退化模型的信息，性能仍有一定提升空間。

發明內容

為了克服現有技術的不足，本發明提供了一種基于深度先驗信息的高光譜圖像超分辨率方法，首先利用雙流融合神經網絡融合插值后的低分辨率高光譜圖像和與其空間配準的高分辨率彩色圖像，學習潛在高分辨率高光譜圖像的先驗信息；然后利用神經網絡的輸出表征學習到的先驗信息，將深度先驗信息表征構造正則項約束基于退化物理模型的目標函數；最后通過求解Sylvester方程得到該目標函數的最優解，同時自動估計正則項參數調整退化物理模型和先驗信息的貢獻度，在最優正則項參數下重建出高分辨率高光譜圖像。本發明最大程度地復原了光譜和空間信息，從而得到高質量的高分辨率高光譜圖像，同時算法運行速度快，實用性好。

本發明解決其技術問題所采用的技術方案包括以下步驟：

步驟1：從圖像庫中獲取同一場景的低分辨率高光譜圖像Y、高分辨率彩色圖像Z和高分辨率高光譜圖像X；獲取低分辨率高光譜圖像Y的光譜通道數為J；對低分辨率高光譜圖像Y和高分辨率彩色圖像Z進行歸一化處理；再對低分辨率高光譜圖像Y的每個光譜通道分別進行雙三次插值得到插值后高光譜圖像Y_up；構造配對圖像集(Y_up,Z；X)；

步驟2：構建雙流融合網絡并采用配對圖像集(Y_up,Z；X)訓練網絡；