[發明專利]基于通道約束多特征融合的圖像超分辨率重建方法和系統

在審

• 申請號: 202111165041.2
• 申請日: 2021-09-30
• 公開（公告）號: CN113744136A
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 霍彤彤;楊衛東;謝毅;何泳江;王泓霖;鐘勝;肖子雨
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 胡秋萍

本發明公開基于通道約束多特征融合的圖像超分辨率重建方法和系統，屬于超分辨率圖像重建領域。包括：獲取同一場景下高空間分辨率高光譜、低空間分辨率高光譜和高空間分辨率多光譜圖像圖像對構建訓練集；搭建雙通道超分辨率網絡，包括：特征提取模塊，用于從同一場景下的低空間分辨率高光譜和高空間分辨率多光譜圖像中同時提取空譜特征；特征融合模塊，用于融合同一場景下的多光譜圖像的空間信息與高光譜圖像的光譜信息；圖像重建模塊，用于重建得到重建圖像；訓練網絡，直至重建圖像與原始圖像對應光譜向量中各元素變化規律一致；獲取待重建場景下的低空間分辨率高光譜和高空間分辨率多光譜圖像，輸入至訓練好網絡，得到重建超分辨率高光譜圖像。

技術領域

本發明屬于超分辨率圖像重建領域，更具體地，涉及基于通道約束多特征融合的圖像超分辨率重建方法和系統。

背景技術

在遙感圖像領域，光譜與空間細節信息之間要進行一定的權衡，為保證光譜波段信息的完整性不得不犧牲其部分空間細節信息，然而，這會對后續的高級任務帶來較大難度，限制了高光譜圖像的應用。為此，在確保光譜分辨率的同時提高圖像的空間質量，使其能最大程度上還原場景信息，是當前高光譜領域研究的重點與難點。

提高高光譜圖像空間分辨率通常有兩種途徑：一種途徑是提高成像設備的硬件能力，但這依賴于成像技術與半導體工藝的突破，該方法不僅研發時間周期長，而且也會提高硬件成本。另一種途徑則是通過軟件層面來解決，利用算法來提升圖像質量。近年來，圖像超分辨率(Super-resolution，SR)技術吸引了廣大研究人員的關注。該技術旨在將空間細節信息較少的低空間分辨率(Low-Resolution，LR)圖像重建成為包含細節特征更加豐富的高空間分辨率(High-Resolution，HR)圖像，同時在一定程度上消除圖像噪聲與模糊帶來的影響。隨著計算機設備的快速更新，計算機的運算能力得到了顯著的提升，在充足算力與大量數據的支撐下，深度學習在圖像超分辨率取得了十分耀眼的成績。相較于傳統的機器學習方法，基于深度學習的超分辨率方法可以避免手工設置特征規則，自動提取圖像與光譜層次特征，從大量數據中學習到高低空間分辨率圖像之間復雜的非線性映射關系，具有更好的重建效果。因此，利用深度學習技術完成高光譜圖像超分辨率重建任務具有相當重要的意義和價值。

盡管研究人員們在圖像超分辨率領域已經取得了一定的成績，但由于高光譜圖像數據結構的特殊性，在重建過程中有效利用光譜信息、減少光譜信息失真仍是一項具有挑戰性的任務。針對上述情況，將基于多特征融合的高光譜與多光譜圖像聯合方法應用于圖像超分辨率領域，并根據網絡模型實際應用中存在的問題進行改進，增強算法圖像細節重建能力及模型光譜信息還原能力。

發明內容

針對現有技術的缺陷和改進需求，本發明提供了基于通道約束多特征融合的圖像超分辨率重建方法和系統，其目的在于解決高光譜圖像超分辨率重建后的圖像在光譜信息上常常存在失真、超分辨率倍數較高時圖像重建難度大等問題。

為實現上述目的，按照本發明的第一方面，提供了一種基于通道約束多特征融合的圖像超分辨率重建方法，該方法包括：

訓練階段：

獲取同一場景下的高空間分辨率高光譜圖像、低空間分辨率高光譜圖像和高空間分辨率多光譜圖像，并將低空間分辨率高光譜圖像作為訓練樣本，對應高空間分辨率高光譜圖像作為標簽，構建訓練集；

搭建雙通道超分辨率網絡，所述雙通道超分辨率網絡包括：特征提取模塊，用于從同一場景下的低空間分辨率高光譜圖像和高空間分辨率多光譜圖像中同時提取空間特征與光譜特征；特征融合模塊，用于融合同一場景下的多光譜圖像與高光譜圖像的空譜特征；圖像重建模塊，用于將融合后的特征重建，得到重建高空間分辨率高光譜圖像；

采用訓練集訓練雙通道超分辨率網絡，直至重建高空間分辨率高光譜圖像與原始高空間分辨率高光譜圖像的對應光譜向量中各元素變化規律保持一致，得到訓練好的雙通道超分辨率網絡；

應用階段：