[發明專利]一種基于SwinIR的高光譜遙感圖像去噪方法

有效

• 申請號: 202310762260.1
• 申請日: 2023-06-27
• 公開（公告）號: CN116503292B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 豐碩;陸振宇
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/048;G06N3/08;G06T7/10
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 楊欣怡

1.一種基于SwinIR的高光譜遙感圖像去噪方法，其特征在于，針對高光譜圖像，執行如下步驟S1-步驟S4，完成高光譜圖像的去噪：

步驟S1：采集預設數量的高光譜圖像，其中包括純凈高光譜圖像和噪聲高光譜圖像，對所采集的所有高光譜圖像進行預處理，預處理后的各高光譜圖像均包含噪聲，并根據預設比例將預處理后的高光譜圖像劃分為訓練集和測試集；

步驟S2：構建高光譜圖像去噪網絡模型，該模型以預處理后的高光譜圖像為輸入，以重構的純凈高光譜圖像為輸出，高光譜圖像去噪網絡模型包括改進后的SwinIR網絡、空間信息與光譜信息提取模塊、協調注意力模塊、空間信息編碼與光譜信息編碼融合模塊、殘差圖像重構模塊；

所述改進后的SwinIR網絡將SwinIR基礎網絡的淺層特征提取的3*3卷積替換為空間信息與光譜信息提取模塊，以提取高光譜圖像的二維空間特征和三維光譜特征；

所述空間信息與光譜信息提取模塊包括二維卷積層Conv_2d、三維卷積層Conv_3d_1、三維卷積層Conv_3d_2，并對三者進行卷積拼接，以提取不同尺度的空間特征矩陣及光譜特征矩陣；

所述協調注意力模塊采用平均池化、卷積、規范化、非線性層的方法，融合不同尺度的空間特征矩陣及光譜特征矩陣，捕獲遠程依賴關系并保留位置信息，獲得整體特征矩陣；

所述空間信息編碼與光譜信息編碼融合模塊首先針對整體特征矩陣采用二維步長進行編碼，獲得整體特征向量，其次引入三維編碼方法，采用三維步長對步驟S1所獲得的預處理后的高光譜圖像進行三維特征編碼，得到光譜特征向量，引入自適應池化層，融合不同長度的整體特征向量、光譜特征向量，得到編碼向量；

所述殘差圖像重構模塊首先對步驟S1所獲得的預處理后的高光譜圖像采用卷積Conv_first進行空間特征提取后直接進行編碼重構，獲得殘差圖像；其次通過編碼向量重構得到整體圖像，將殘差圖像和整體圖像根據預設權重結合，再采用反卷積Conv_last，最終獲得重構的純凈高光譜圖像；

所述的空間信息與光譜信息提取模塊包括空間二維卷積、光譜三維卷積、卷積拼接過程，具體過程如下：

所述空間二維卷積采用3*3二維卷積層Conv_2d提取高光譜圖像的空間信息，獲得空間特征矩陣；

所述光譜三維卷積采用并行的兩個相同通道不同卷積核大小的三維卷積層，即分別采用C*3*3的三維卷積層Conv_3d_1和C*7*7的三維卷積層Conv_3d_2提取高光譜圖像的光譜信息，獲得兩個光譜矩陣，其中C表示光譜維度；

所述卷積拼接是將分別經過三維卷積層Conv_3d_1和三維卷積層Conv_3d_2卷積后的兩個光譜矩陣根據通道維度相加，得到光譜特征矩陣；

所述的協調注意力模塊首先對光譜特征矩陣進行batch維度降維，將降維后的光譜特征矩陣與空間特征矩陣進行拼接，獲得維度為C*H*W的光譜特征與空間特征拼接矩陣，其中C為光譜維度，H和W分別為高度和寬度，將光譜特征與空間特征拼接矩陣作為輸入，依次經過并行的平均池化層、整體二維卷積層、整體規范化層和非線性層，最后由并行sigmoid激活函數輸出，得到融合后的整體特征矩陣；

所述的空間信息編碼與光譜信息編碼融合模塊包括二維空間信息編碼、三維光譜信息編碼以及編碼融合；

所述二維空間信息編碼采用4*4的二維步長對整體特征矩陣進行分割、編碼，提取空間信息，獲得整體特征向量；

所述三維光譜信息編碼采用2*2*2的三維步長對步驟S1所獲得的預處理后的高光譜圖像進行分割、編碼，提取光譜信息，獲得光譜特征向量；

所述編碼融合是將整體特征向量和光譜特征向量連接后，分別通過并行的自適應平均池化層和自適應最大池化層，得到長度統一的平均池化向量和最大池化向量，并將二者相加，再經過sigmoid激活函數輸出，最終得到編碼向量；

所述的殘差圖像重構模塊首先對步驟S1所獲得的預處理后的高光譜圖像進行3*3的卷積Conv_first，然后使用4*4步長編碼后進行圖像重構，獲得殘差圖像；其次通過編碼向量重構得到整體圖像，將殘差圖像和整體圖像根據預設權重結合，并對其進行3*3的反卷積Conv_last，最終獲得重構的純凈高光譜圖像；

所述圖像重構的過程為：編碼后的向量首先通過歸一化層，再通過多頭自注意力機制，在多頭自注意力機制后引入殘差，再通過歸一化層，最后通過多層感知機，并在其結尾同樣引入殘差；

步驟S3：針對高光譜圖像去噪網絡模型，以訓練集中的各高光譜圖像為輸入，以重構的純凈高光譜圖像為輸出，應用損失函數對高光譜圖像去噪網絡模型進行預設次數的訓練，獲得訓練完成的高光譜圖像去噪網絡模型；

步驟S4：將測試集中的各高光譜圖像輸入訓練完成的高光譜圖像去噪網絡模型，獲得測試集中的各高光譜圖像對應的重構的純凈高光譜圖像，并針對去噪結果進行評價。