[發明專利]一種高光譜圖像超分辨率重建方法、裝置及電子設備

在審

• 申請號: 202110445524.1
• 申請日: 2021-04-23
• 公開（公告）號: CN113139902A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 李巖山;陳世富;周李;羅文寒
• 申請（專利權）人: 深圳大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 李博洋

1.一種高光譜圖像超分辨率重建方法，其特征在于，包括：

利用預先構建好的光譜保留網絡對輸入的高光譜圖像特征進行特征提取得到光譜信息特征，其中所述光譜保留網絡包括多個級聯的光譜保留模塊，每一個所述光譜保留模塊集成第一殘差塊和通道注意力機制；

利用預先構建好的彩色圖像引導網絡對輸入的、與高光譜圖像特征對應的彩色圖像特征進行特征提取得到空間信息特征，其中所述彩色圖像引導網絡包括多個級聯的彩色圖像引導模塊，每一個所述彩色圖像引導模塊集成第二殘差塊和空間注意力機制；

將所述光譜信息特征和所述空間信息特征輸入到預先構建好的空譜恢復網絡進行特征融合以完成高光譜圖像超分辨率重建，其中所述空譜恢復網絡集成通道注意力機制和空間注意力機制。

2.根據權利要求1所述的方法，其特征在于，所述利用預先構建好的光譜保留網絡對輸入的高光譜圖像特征進行特征提取得到光譜信息特征之前，所述方法還包括：

對獲取到的高光譜圖像進行上采樣，使得所述高光譜圖像的空間分辨率達到預設分辨率；

利用3D卷積層從上采樣后的高光譜圖像提取淺層光譜特征，將所述淺層光譜特征作為所述高光譜圖像特征輸入到所述光譜保留網絡。

3.根據權利要求1所述的方法，其特征在于，所述利用預先構建好的彩色圖像引導網絡對輸入的、與高光譜圖像特征對應的彩色圖像特征進行特征提取得到空間信息特征之前，所述方法還包括：

確定是否存在與獲取的高光譜圖像處于同一場景下的高分辨率彩色圖像；

當存在，則將所述高分辨率彩色圖像的圖像特征作為與所述高光譜圖像特征對應的彩色圖像特征；

當不存在，則從獲取到的所述高光譜圖像中截取紅、綠、藍三個波段所在通道的特征作為與所述高光譜圖像特征對應的彩色圖像特征。

4.根據權利要求1-3中任一項所述的方法，其特征在于，所述方法還包括

預先利用訓練數據對重建網絡進行訓練，直至所述重建網絡的總損失函數的損失值滿足目標條件，得到用于高光譜圖像超分辨率重建的重建網絡，所述重建網絡由所述光譜保留網絡、所述彩色圖像引導網絡以及所述空譜恢復網絡組成。

5.根據權利要求4所述的方法，其特征在于，所述總損失函數如下式所示：

l_loss＝α₁l_L2+α₂l_sam+α₃l_L1

式中，l_L2表征高光譜圖像空間內容損失；l_sam表征光譜損失；l_L1表征彩色圖像內容損失；α₁、α₂和α₃為常數。

6.一種高光譜圖像超分辨率重建裝置，其特征在于，包括：

光譜信息特征提取模塊，用于利用預先構建好的光譜保留網絡對輸入的高光譜圖像特征進行特征提取得到光譜信息特征，其中所述光譜保留網絡包括多個級聯的光譜保留模塊，每一個所述光譜保留模塊集成第一殘差塊和通道注意力機制；

空間信息特征提取模塊，用于利用預先構建好的彩色圖像引導網絡對輸入的、與高光譜圖像特征對應的彩色圖像特征進行特征提取得到空間信息特征，其中所述彩色圖像引導網絡包括多個級聯的彩色圖像引導模塊，每一個所述彩色圖像引導模塊集成第二殘差塊和空間注意力機制；

特征融合模塊，用于將所述光譜信息特征和所述空間信息特征輸入到預先構建好的空譜恢復網絡進行特征融合以完成高光譜圖像超分辨率重建，其中所述空譜恢復網絡集成通道注意力機制和空間注意力機制。

7.根據權利要求6所述的裝置，其特征在于，所述裝置還包括：

采樣模塊，用于對獲取到的高光譜圖像進行上采樣，使得所述高光譜圖像的空間分辨率達到預設分辨率；

淺層光譜特征提取模塊，用于利用3D卷積層從上采樣后的高光譜圖像提取淺層光譜特征，將所述淺層光譜特征作為所述高光譜圖像特征輸入到所述光譜保留網絡。