[發(fā)明專利]基于深度細(xì)節(jié)注入網(wǎng)絡(luò)的高光譜全色銳化方法

在審

• 申請?zhí)枺?/td>: 202110602214.6
• 申請日: 2021-05-31
• 公開（公告）號: CN113284067A
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計）人: 趙明華;李停停;胡靜;寧家偉
• 申請（專利權(quán)）人: 西安理工大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 王敏強(qiáng)

本發(fā)明公開了一種基于深度細(xì)節(jié)注入網(wǎng)絡(luò)的高光譜全色銳化方法，首先選取兩種分別覆蓋室內(nèi)場景和室外場景的高光譜圖像數(shù)據(jù)集，分別是Cave和PaviaCenter數(shù)據(jù)集；把低分辨率的高光譜圖像進(jìn)行上采樣并與全色圖像進(jìn)行聯(lián)合，輸入到卷積層中提取淺層特征；提取的淺層特征再次送到卷積層中進(jìn)一步的提取淺層特征；然后將第二次提取的淺層特征輸入到殘差密集塊網(wǎng)絡(luò)中；最后對所有的殘差密集塊進(jìn)行全局特征融合得到聯(lián)合圖像的層次特征；將淺層特征和層次特征進(jìn)行殘差運(yùn)算；最后進(jìn)行卷積得到基于深度細(xì)節(jié)注入網(wǎng)絡(luò)的高光譜全色銳化方法的融合結(jié)果。本發(fā)明解決了現(xiàn)有技術(shù)中存在的高光譜融合過程中細(xì)節(jié)提取不夠，所導(dǎo)致的融合效果受限的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于遙感影像技術(shù)領(lǐng)域，具體涉及一種基于深度細(xì)節(jié)注入網(wǎng)絡(luò)的高光譜全色銳化方法。

背景技術(shù)

高光譜圖像是一種包含空間信息和光譜信息的三維立方體數(shù)據(jù)。在空間域中，每個波段都可以表示為對應(yīng)波長的場景描述。在光譜上，任何像素在數(shù)百個不同波長的響應(yīng)下形成了一條高分辨率的光譜曲線，可以用來區(qū)分不同的物質(zhì)屬性，即光譜識別性。這種高光譜遙感影像特有的光譜識別性使得其在軍事救援、環(huán)境監(jiān)測等領(lǐng)域得到了廣泛的應(yīng)用。但是受硬件的限制，光譜成像儀很難獲得同時具有高空間分辨率和高光譜分辨率的遙感影像。在實際應(yīng)用過程中，遙感平臺上更多的是通過不同的載荷獲取對應(yīng)的數(shù)據(jù)。成像光譜儀獲取的高光譜圖像含有豐富的光譜信息，但是空間分辨率較低，而全色相機(jī)獲取的遙感圖像空間分辨率較高，但波段數(shù)少。高光譜全色銳化是指通過融合高光譜圖像和全色圖像，以得到同時具有高空間分辨率和高光譜分辨率的高光譜圖像。

目前高光譜全色融合方法可以分為成分替換、多分辨率分析、基于矩陣分解和基于深度學(xué)習(xí)的方法。成分替換方法是利用全色圖像用替代高光譜圖像逆變換后的一個分量。多分辨率分析方法是將全色圖像的空間細(xì)節(jié)信息注入到上采樣的高光譜圖像中。基于矩陣分解的方法則是通過將目標(biāo)高光譜圖像分解成光譜基和相應(yīng)的子空間系數(shù)，并將生成全色圖像和輸入的高光譜圖像的過程進(jìn)行建模。為了求解建模函數(shù)，需要給定圖像的先驗知識，而這些預(yù)先給定的圖像先驗知識往往并不能完整的描述影像的特性，造成融合圖像的細(xì)節(jié)失真。

基于深度學(xué)習(xí)的高光譜全色銳化方法則是通過將高光譜圖像和全色圖像同時輸入網(wǎng)絡(luò)，并學(xué)習(xí)輸入與輸出，即理想的高光譜影像之間的映射關(guān)系。利用這種學(xué)習(xí)到的關(guān)系泛化到其余影像中以得到高空間分辨率的高光譜圖像。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于深度細(xì)節(jié)注入網(wǎng)絡(luò)的高光譜全色銳化方法，解決了現(xiàn)有技術(shù)中存在的高光譜融合過程中細(xì)節(jié)提取不夠，所導(dǎo)致的融合效果受限的問題。

本發(fā)明所采用的技術(shù)方案是，基于深度細(xì)節(jié)注入網(wǎng)絡(luò)的高光譜全色銳化方法，具體按照以下步驟實施：

步驟1、選取兩種高光譜圖像的數(shù)據(jù)集，兩種高光譜圖像的數(shù)據(jù)集分別覆蓋室內(nèi)場景和室外場景，室內(nèi)場景用Cave數(shù)據(jù)集，室外場景用PaviaCenter數(shù)據(jù)集代表；

步驟2、把步驟1數(shù)據(jù)集中低分辨率的高光譜圖像先進(jìn)行上采樣，然后和全色圖像進(jìn)行聯(lián)合，輸入到卷積層中提取聯(lián)合圖像的淺層特征；

步驟3、步驟2提取到的淺層特征再次送到卷積層中，進(jìn)一步的提取淺層特征；然后將第二次提取到的淺層特征輸入到殘差密集塊網(wǎng)絡(luò)中；最后對所有的殘差密集塊進(jìn)行一次全局特征融合得到聯(lián)合圖像的層次特征；

步驟4、將步驟2得到的淺層特征和步驟3得到的層次特征進(jìn)行殘差運(yùn)算；最后進(jìn)行一次卷積運(yùn)算得到基于深度細(xì)節(jié)注入網(wǎng)絡(luò)的高光譜全色銳化方法的融合結(jié)果。

本發(fā)明的特點(diǎn)還在于，

步驟1具體如下：

步驟1.1、采用Cave數(shù)據(jù)集代表室內(nèi)場景，Pavia Center數(shù)據(jù)集代表室外場景；數(shù)據(jù)集中的原始高光譜作為參考圖，模擬低分辨率的高光譜圖像是由參考圖進(jìn)行下采樣得到的，模擬高分辨率的全色圖像是對參考圖的第三維進(jìn)行求均值得到的；