[發明專利]一種高光譜圖像超分辨率重建方法、裝置及電子設備

在審

• 申請號: 202110445524.1
• 申請日: 2021-04-23
• 公開（公告）號: CN113139902A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 李巖山;陳世富;周李;羅文寒
• 申請（專利權）人: 深圳大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 李博洋

本發明公開了一種高光譜圖像超分辨率重建方法、裝置及電子設備，方法包括：利用預先構建好的光譜保留網絡對輸入的高光譜圖像特征進行特征提取得到光譜信息特征，光譜保留網絡包括多個級聯的光譜保留模塊，每一個光譜保留模塊集成第一殘差塊和通道注意力機制；利用預先構建好的彩色圖像引導網絡對輸入的、與高光譜圖像特征對應的彩色圖像特征進行特征提取得到空間信息特征，彩色圖像引導網絡包括多個級聯的彩色圖像引導模塊，每一個彩色圖像引導模塊集成第二殘差塊和空間注意力機制；將光譜信息特征和空間信息特征輸入到預先構建好的空譜恢復網絡進行特征融合以完成高光譜圖像超分辨率重建，空譜恢復網絡集成通道注意力機制和空間注意力機制。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種高光譜圖像超分辨率重建方法、裝置及電子設備。

背景技術

高光譜圖像(HSI)有幾十個甚至幾百個波段，高光譜圖像不僅有豐富的空間紋理信息，而且還具有豐富的光譜信息，這一特征使其廣泛應用于農業、醫學、軍事和遙感等多個領域。但是受高光譜傳感器和光學成像系統的硬件限制，與彩色圖像相比，高光譜圖像具有較低的空間分辨率，這嚴重限制了它的進一步應用和發展。因此，近年來，作為提升高光譜圖像分辨率的主要技術之一的高光譜圖像超分辨率受到廣泛關注。

高光譜圖像超分辨率是一種從低分辨率高光譜圖像中獲取高分辨率高光譜圖像的技術，目前采用基于軟件方法的超分辨率技術是提升高光譜圖像空間分辨率的有效手段，其克服了硬件條件的限制。高光譜圖像超分辨率技術大多數是從彩色圖像超分辨技術演變而來，對于彩色圖像超分辨率，近幾十年來提出了許多研究，最近，彩色圖像超分問題由于使用了卷積神經網絡而取得了很大的進展。但與彩色圖像不同的是，高光譜圖像由數百或數千個光譜波段組成，高光譜圖像的光譜特征提取困難，僅僅將卷積神經網絡框架直接應用于高光譜圖像超分，容易使得重構的高光譜圖像出現光譜信息丟失的現象，導致超分辨率重建的光譜損失嚴重。

發明內容

因此，本發明要解決的技術問題在于克服現有直接使用卷積神經網絡實現高光譜圖像超分處理的方式導致重構的高光譜圖像出現光譜信息丟失的缺陷，從而提供一種高光譜圖像超分辨率重建方法、裝置及電子設備。

根據第一方面，本發明實施例公開了一種高光譜圖像超分辨率重建方法，包括：利用預先構建好的光譜保留網絡對輸入的高光譜圖像特征進行特征提取得到光譜信息特征，其中所述光譜保留網絡包括多個級聯的光譜保留模塊，每一個所述光譜保留模塊集成第一殘差塊和通道注意力機制；利用預先構建好的彩色圖像引導網絡對輸入的、與高光譜圖像特征對應的彩色圖像特征進行特征提取得到空間信息特征，其中所述彩色圖像引導網絡包括多個級聯的彩色圖像引導模塊，每一個所述彩色圖像引導模塊集成第二殘差塊和空間注意力機制；將所述光譜信息特征和所述空間信息特征輸入到預先構建好的空譜恢復網絡進行特征融合以完成高光譜圖像超分辨率重建，其中所述空譜恢復網絡集成通道注意力機制和空間注意力機制。

可選地，所述利用預先構建好的光譜保留網絡對輸入的高光譜圖像特征進行特征提取得到光譜信息特征之前，所述方法還包括：對獲取到的高光譜圖像進行上采樣，使得所述高光譜圖像的空間分辨率達到預設分辨率；利用3D卷積層從上采樣后的高光譜圖像提取淺層光譜特征，將所述淺層光譜特征作為所述高光譜圖像特征輸入到所述光譜保留網絡。

可選地，所述利用預先構建好的彩色圖像引導網絡對輸入的、與高光譜圖像特征對應的彩色圖像特征進行特征提取得到空間信息特征之前，所述方法還包括：確定是否存在與獲取的高光譜圖像處于同一場景下的高分辨率彩色圖像；當存在，則將所述高分辨率彩色圖像的圖像特征作為與所述高光譜圖像特征對應的彩色圖像特征；當不存在，則從獲取到的所述高光譜圖像中截取紅、綠、藍三個波段所在通道的特征作為與所述高光譜圖像特征對應的彩色圖像特征。

可選地，所述方法還包括預先利用訓練數據對重建網絡進行訓練，直至所述重建網絡的總損失函數的損失值滿足目標條件，得到用于高光譜圖像超分辨率重建的重建網絡，所述重建網絡由所述光譜保留網絡、所述彩色圖像引導網絡以及所述空譜恢復網絡組成。