[發(fā)明專利]基于自注意力融合的遙感圖像超分辨率重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011563791.0
• 申請(qǐng)日: 2020-12-25
• 公開(kāi)（公告）號(hào): CN112712488B
• 公開(kāi)（公告）日: 2022-11-15
• 發(fā)明（設(shè)計(jì)）人: 張浩鵬;梅寒;姜志國(guó);謝鳳英;趙丹培
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T3/40;G06N3/08;G06N3/04
• 代理公司: 北京慕達(dá)星云知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11465
• 代理人: 符繼超

本發(fā)明公開(kāi)了基于自注意力融合的遙感圖像超分辨率重建方法，包括：獲取低分辨率遙感圖像，進(jìn)行數(shù)據(jù)預(yù)處理；將數(shù)據(jù)預(yù)處理后的低分辨率圖像輸入提前訓(xùn)練后的基于自注意力融合的遙感圖像超分辨率重建模型；所述重建模型包括一個(gè)特征提取模塊、一個(gè)特征非線性映射模塊、一個(gè)重建模塊和兩個(gè)注意力模塊；輸出重建后的高分辨率圖像。低分辨率圖像通過(guò)該方法，使得經(jīng)過(guò)注意力模塊的特征進(jìn)行了加權(quán)，建立了特征之間的長(zhǎng)距離的約束關(guān)系，解決了卷積操作感受野的限制，同時(shí)經(jīng)過(guò)了通道注意力的多層特征圖具有每一層的權(quán)重關(guān)系，加強(qiáng)對(duì)于超分辨率重建有用的這層特征圖，弱化對(duì)于超分辨率重建任務(wù)無(wú)用的特征圖，提升了重建的效果。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)字圖像處理領(lǐng)域，涉及一種提升遙感圖像超分辨重建效果方法，特別涉及基于自注意力融合的遙感圖像超分辨率重建方法。

背景技術(shù)

遙感圖像超分辨率重建技術(shù)是將低分辨率遙感圖像重建為高分辨率遙感圖像的一項(xiàng)技術(shù)。遙感圖像超分辨率重建可以提升遙感圖像的視覺(jué)效果，重建后的高分辨率圖像可以提升后續(xù)信息處理任務(wù)的效果。傳統(tǒng)的超分辨率重建方法重建結(jié)果較為粗糙，紋理細(xì)節(jié)的恢復(fù)較差，重建的圖像質(zhì)量較差。

近些年，隨著深度學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)方法因?yàn)槠鋸?qiáng)大的擬合性能以及更具細(xì)節(jié)的重建結(jié)果逐漸成為了研究的熱點(diǎn)，特別是基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的超分辨重建網(wǎng)絡(luò)可以恢復(fù)圖像質(zhì)量更高的圖像質(zhì)量。基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨重建網(wǎng)絡(luò)的通用結(jié)構(gòu)如圖1所示，輸入的低分辨率圖像經(jīng)過(guò)預(yù)處理操作在經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取以及低分辨率特征到高分辨率特征的映射，最終經(jīng)過(guò)重建層重建為高分辨率圖像。

基于卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)在特征提取部分和特征非線性部分都采取了大量的卷積操作，特征提取都卷積來(lái)建立不同圖像區(qū)域間的依賴關(guān)系模型，卷積操作本身存在感受野的限制，這種限制也妨礙了網(wǎng)絡(luò)去學(xué)習(xí)到在圖像區(qū)域之間的長(zhǎng)距離的約束關(guān)系，致使超分辨率重建結(jié)果的精度有限，指標(biāo)可能會(huì)受到這種影響而降低，每一層的特征會(huì)對(duì)特征非線性映射具有不同的貢獻(xiàn)，基于深度學(xué)習(xí)的通用超分辨率網(wǎng)絡(luò)，將每一層特征看作等價(jià)處理，這會(huì)造成重建結(jié)果變差，重建指標(biāo)下降。

因此，卷積操作感受野的限制以及等價(jià)處理每層特征的關(guān)鍵問(wèn)題還有待解決。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的基于自注意力融合的遙感圖像超分辨率重建方法。

為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案為：

本發(fā)明實(shí)施例提供基于自注意力融合的遙感圖像超分辨率重建方法，包括：

S1：獲取低分辨率遙感圖像，進(jìn)行數(shù)據(jù)預(yù)處理；

S2：將步驟S1數(shù)據(jù)預(yù)處理后的低分辨率圖像輸入提前訓(xùn)練后的基于自注意力融合的遙感圖像超分辨率重建模型；所述重建模型包括一個(gè)特征提取模塊、一個(gè)特征非線性映射模塊、一個(gè)重建模塊和兩個(gè)注意力模塊；

S3：輸出重建后的高分辨率圖像。

進(jìn)一步地，所述兩個(gè)注意力模塊結(jié)構(gòu)相同；所述兩個(gè)注意力模塊分別位于所述特征提取模塊前和所述重建模塊前；

所述注意力模塊包括空間注意力模塊與通道注意力模塊；所述空間注意力模塊與通道注意力模塊相融合，且所述空間注意力模塊與所述通道注意力模塊均通過(guò)自注意力結(jié)構(gòu)實(shí)現(xiàn)。

進(jìn)一步地，所述空間注意力模塊，包括：

定義所述預(yù)處理模塊輸出或特征非線性映射模塊輸出特征圖N＝W×H，W，H分別為圖像的寬和高；C為特征圖的通道數(shù)；N為一個(gè)通道上像素點(diǎn)的數(shù)量；

通過(guò)兩個(gè)1×1的卷積核轉(zhuǎn)換到兩個(gè)特征空間f、g去計(jì)算空間注意力，其中f(x)＝W_fx，g(x)＝W_gx；