[發明專利]基于自注意力融合的遙感圖像超分辨率重建方法

有效

• 申請號: 202011563791.0
• 申請日: 2020-12-25
• 公開（公告）號: CN112712488B
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 張浩鵬;梅寒;姜志國;謝鳳英;趙丹培
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/40;G06N3/08;G06N3/04
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

1.基于自注意力融合的遙感圖像超分辨率重建方法，其特征在于，包括以下步驟：

S1：獲取低分辨率遙感圖像，進行數據預處理；

S2：將步驟S1數據預處理后的低分辨率圖像輸入提前訓練后的基于自注意力融合的遙感圖像超分辨率重建模型；所述重建模型包括一個特征提取模塊、一個特征非線性映射模塊、一個重建模塊和兩個注意力模塊；

S3：輸出重建后的高分辨率圖像；

所述兩個注意力模塊結構相同；所述兩個注意力模塊分別位于所述特征提取模塊前和所述重建模塊前；

所述注意力模塊包括空間注意力模塊與通道注意力模塊；所述空間注意力模塊與通道注意力模塊相融合，且所述空間注意力模塊與所述通道注意力模塊均通過自注意力結構實現。

2.根據權利要求1所述的基于自注意力融合的遙感圖像超分辨率重建方法，其特征在于，所述空間注意力模塊，包括：

定義所述預處理模塊輸出或特征非線性映射模塊輸出特征圖N＝W×H，W，H分別為圖像的寬和高；C為特征圖的通道數；N為一個通道上像素點的數量；

通過兩個1×1的卷積核轉換到兩個特征空間f、g去計算空間注意力，其中f(x)＝W_fx，g(x)＝W_gx；

其中s_ij＝f(x_i)^Tg(x_j) (1)

β_j,i即為注意力表現為生成第j個像素時，模型對第i個像素的關注程度；

注意力層的輸出為其中，

在上述(1)、(2)公式中為可學習的權重矩陣，通過1×1的卷積實現。

3.根據權利要求1所述的基于自注意力融合的遙感圖像超分辨率重建方法，其特征在于，所述通道注意力模塊，包括：

定義所述預處理模塊輸出或特征非線性映射模塊輸出特征圖N＝W×H，W，H分別為圖像的寬和高；C為特征圖的通道數；N為一個通道上像素點的數量；

通過兩個1×1的卷積核轉換到兩個特征空間k、l去計算通道注意力，其中k(x)＝W_kx，l(x)＝W_lx；

其中c_ij＝k(x_i)l(x_j)^T (3)

α_j,i即為注意力表現為生成第j個通道時，模型對第i個通道的關注程度；

注意力層的輸出為其中，

在上述(3)、(4)公式中為可學習的權重矩陣，通過1×1的卷積實現。

4.根據權利要求1所述的基于自注意力融合的遙感圖像超分辨率重建方法，其特征在于，所述空間注意力模塊與通道注意力模塊相融合，包括：

設置學習參數γ，μ，初始設為0；

最終的注意力模塊的輸出為y＝γs+μd+x；

s與d分別為空間注意力模塊與通道注意力模塊的輸出。