[發明專利]一種基于深度學習和模型驅動的多光譜和高光譜圖像融合方法

有效

• 申請號: 202010765313.1
• 申請日: 2020-08-03
• 公開（公告）號: CN111860449B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 謝琦;孟德宇;周明皓;趙謙;徐宗本
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/774;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 段俊濤

本發明公開了一種模型驅動的深度多/高光譜圖像融合的方法。本發明的技術關鍵在于網絡的構造與網絡的訓練(或測試)的新模式。首先，在深度網絡的構造階段，根據低分辨圖像的生成機制，建立全新的多/高光譜圖像融合模型，設計了模型的迭代求解算法，然后將算法的迭代步驟一一對應地展開成網絡模塊，建立多/高光譜圖像融合網絡(MS/HS Fusion Net,MHF?net)；在網絡的訓練與測試階段，本發明給出了響應系數與低分辨率圖像同時輸入網絡的訓練模式，首次發明了在訓練/測試數據響應系數不一致場景下有效的深度多/高光譜圖像融合的方法。本發明的深度多/高光譜圖像融合網絡具有明顯的可解釋性、泛化性以及較強的實際應用意義。

技術領域

本發明屬于圖像處理、遙感以及深度學習技術領域，特別涉及一種基于深度學習和模型驅動的多光譜和高光譜圖像融合方法。

背景技術

高光譜成像技術可獲取連續光譜中的場景，與RGB圖像相比可以更好地記錄真實場景的信息，在遙感探測等領域有著重要應用。然而，在實際情況下，由于設備限制，高光譜成像系統只能提供具有高空間分辨率但光譜數較低的圖像數據或者空間分辨率較低的高光譜圖像。因此，多光譜和高光譜圖像融合問題，即融合實際收集的HrMS圖像和LrHS圖像以生成理想的HrHS圖像是一個十分有現實意義的問題，在近年來引起了科研領域的廣泛關注。

目前，已有的多光譜和高光譜圖像融合技術主要分為傳統方法和深度學習方法兩大類。傳統方法大多都基于HrMS圖像與LrHS圖像的生成模型展開。其中，一些方法結合了生成模型與圖像空間先驗信息提出，但人為設計的正則項通常不能刻畫高光譜圖像的復雜先驗信息；此外，還有一些方法結合了高光譜圖像特有的光譜可字典表示的特性，通過學習局部光譜字典與再表達進行高光譜融合；還有一些方法結合了矩陣分解或張量分解模型進行高光譜融合，也取得了不錯的效果。大部分基于傳統模型的方法通常是很費時的，這顯然不利于實際應用。近年來隨著深度學習的快速發展，卷積神經網絡在圖像處理任務中取得了巨大的成功，同樣可以應用到多光譜和高光譜圖像融合問題中。當成對訓練數據充分時，深度學習方法能夠從大量數據中獲得關于高光譜圖像的復雜先驗信息，在精度與測試速度上都同時超過傳統方法。然而，現有的深度高光譜融合方法大多只是簡單借用了圖像處理領域的現有網絡，忽略了多光譜和高光譜圖像融合問題的領域知識。特別地，相關深度學習方法忽略了關于HrMS圖像與LrHS圖像的生成模型，并且沒有考慮高光譜圖像在光譜維的低秩性，這顯然不利于融合效果的提升。因此，研究如何在深度學習的框架中建模這些領域知識是非常有必要的。

發明內容

為了克服上述現有技術的缺點，針對基于傳統模型和深度學習模型的多光譜和高光譜圖像融合技術中存在的問題，本發明的目的在于提供一種基于深度學習和模型驅動的多光譜和高光譜圖像融合方法，具有可解釋性和良好泛化能力。

為了實現上述目的，本發明采用的技術方案是：

一種基于深度學習和模型驅動的多光譜和高光譜圖像融合方法，其特征在于，包括如下步驟：

1)數據準備階段：對圖像數據進行預處理，得到HrMS圖像、LrHS圖像及對應的HrHS圖像，做為訓練數據集；

2)模型建立階段：根據HrMS圖像與LrHS圖像的生成機制，建立多光譜和高光譜圖像融合模型；

3)模型求解階段：針對步驟2)所得模型的優化問題，利用近端梯度方法設計一個只包含簡單運算的迭代求解算法；

4)網絡設計階段：將步驟3)中包含的迭代更新過程分解成一系列子迭代步驟，并將其一一對應地展開成網絡模塊，建立多光譜和高光譜圖像融合網絡(MS/HS Fusion Net,MHF-net)；