[發(fā)明專利]基于光譜約束和殘差注意力網(wǎng)絡(luò)的高光譜全色銳化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210873617.9
• 申請(qǐng)日: 2022-07-24
• 公開(kāi)（公告）號(hào): CN115100075A
• 公開(kāi)（公告）日: 2022-09-23
• 發(fā)明（設(shè)計(jì)）人: 馮婕;周子昱;焦李成;張向榮;尚榮華;李陽(yáng)陽(yáng);王蓉芳;慕彩虹
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/50;G06T11/00;G06V10/58;G06V20/10;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 田文英;王品華

本發(fā)明公開(kāi)了一種基于光譜約束和殘差注意力網(wǎng)絡(luò)的高光譜全色銳化方法，主要解決現(xiàn)有技術(shù)中無(wú)法完全利用全色圖像空間信息，銳化結(jié)果失真嚴(yán)重的問(wèn)題。本發(fā)明的具體步驟如下：(1)生成訓(xùn)練集；(2)對(duì)低分辨率高光譜圖像塊進(jìn)行空間對(duì)齊；(3)對(duì)單通道全色圖像塊進(jìn)行光譜對(duì)齊；(4)構(gòu)建殘差注意力網(wǎng)絡(luò)；(5)使用含有光譜約束的損失函數(shù)訓(xùn)練殘差注意力網(wǎng)絡(luò)；(6)使用訓(xùn)練好的殘差注意力網(wǎng)絡(luò)對(duì)高光譜圖像進(jìn)行全色銳化。本發(fā)明使了三維注意力模塊和卷積模塊構(gòu)建殘差注意力網(wǎng)絡(luò)，并使用光譜約束的損失函數(shù)進(jìn)行優(yōu)化訓(xùn)練，具有銳化結(jié)果失真低，光譜和空間信息保留性能平衡的優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進(jìn)一步涉及高光譜圖像銳化技術(shù)領(lǐng)域中的一種基于光譜約束和殘差注意力網(wǎng)絡(luò)的高光譜全色銳化方法。本發(fā)明可用于增強(qiáng)高光譜圖像的空間分辨率，從為基于高光譜圖像的目標(biāo)識(shí)別、地物分類等下游任務(wù)的提供更可靠的數(shù)據(jù)。

背景技術(shù)

高光譜圖像是一種具有寬波段范圍高光譜分辨率信息的遙感圖像，其可分辨的目標(biāo)地物種類數(shù)量相較于其他遙感圖像大大增加，精細(xì)度也更高。然而，由于硬件限制高光譜圖像的空間分辨率往往較低。與此同時(shí)，全色圖像是一種僅具有單波段信息但是空間分辨率非常高的遙感圖像。對(duì)基于高光譜圖像的地物分類、圖像分割、異常檢測(cè)等任務(wù)而言，往往需要既具有高光譜分辨率，又具有高空間分辨率的遙感圖像。因此，通過(guò)對(duì)高光譜圖像和全色圖像的融合獲得高分辨率高光譜圖像，即進(jìn)行高光譜全色銳化，對(duì)于城市建設(shè)、鐵路建設(shè)、橋梁建設(shè)等基礎(chǔ)建設(shè)領(lǐng)域具有重要意義，在國(guó)家經(jīng)濟(jì)發(fā)展過(guò)程中具有重大價(jià)值。現(xiàn)有的基于深度學(xué)習(xí)的高光譜全色銳化算法通常是將全色圖像中的高頻細(xì)節(jié)信息提取出來(lái)作為輔助信息，或者直接將全色圖像送入融合網(wǎng)絡(luò)。無(wú)法充分利用全色圖像中的高分辨率空間信息，往往融合結(jié)果的空間信息失真嚴(yán)重，造成了光譜和空間保留性能的不平衡問(wèn)題。此外，高光譜全色銳化問(wèn)題是一種涉及空間和光譜的高維問(wèn)題，在圖像融合過(guò)程中存在大量信息冗余，且需要的融合網(wǎng)絡(luò)深度較深，容易出現(xiàn)梯度消失或梯度爆炸等問(wèn)題，導(dǎo)致融合結(jié)果不理想。

西安理工大學(xué)在其申請(qǐng)的專利文獻(xiàn)“基于深度細(xì)節(jié)注入網(wǎng)絡(luò)的高光譜全色銳化方法”(專利申請(qǐng)?zhí)枺篊N202110602214.6，申請(qǐng)公布號(hào)：CN 113284067 A)中提出了一種基于深度細(xì)節(jié)注入網(wǎng)絡(luò)的高光譜全色銳化方法。該方法使用人工構(gòu)建的深度細(xì)節(jié)注入網(wǎng)絡(luò)模型用于解決高光譜全色銳化問(wèn)題，該方法實(shí)現(xiàn)的步驟為：(1)選取兩種高光譜圖像的數(shù)據(jù)集，兩種高光譜圖像的數(shù)據(jù)集分別覆蓋室內(nèi)場(chǎng)景和室外場(chǎng)景；(2)把數(shù)據(jù)集中低分辨率的高光譜圖像先進(jìn)行上采樣，然后和全色圖像進(jìn)行聯(lián)合，輸入到卷積層中提取聯(lián)合圖像的淺層特征；(3)將提取到的淺層特征再次送到卷積層中，進(jìn)一步的提取淺層特征；然后將第二次提取到的淺層特征輸入到殘差密集塊網(wǎng)絡(luò)中；最后對(duì)所有的殘差密集塊進(jìn)行一次全局特征融合得到聯(lián)合圖像的層次特征；(4)將淺層特征和層次特征進(jìn)行殘差運(yùn)算；最后進(jìn)行一次卷積運(yùn)算得到基于深度細(xì)節(jié)注入網(wǎng)絡(luò)的高光譜全色銳化方法的融合結(jié)果。該方法使用多層次特征進(jìn)行細(xì)節(jié)特征提取，解決了高光譜全色銳化問(wèn)題，但是，該方法仍然存在的不足之處是，雖然該方法網(wǎng)絡(luò)設(shè)計(jì)的目的是注入空間細(xì)節(jié)，但是全色圖像仍然以單層通道級(jí)聯(lián)的方式輸入網(wǎng)絡(luò)，由于深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練近似一種黑盒過(guò)程，這種方式無(wú)法保證全色圖像中的空間信息被完全利用，因此融合結(jié)果仍存在空間失真，導(dǎo)致空間和光譜保留性能不平衡。同時(shí)，該方法簡(jiǎn)單的上采樣方式進(jìn)行高光譜和全色圖像的空間對(duì)齊，會(huì)在過(guò)程中損失大量的信息，影響融合性能。