[發明專利]基于深度卷積神經網絡的遙感圖像融合方法

在審

• 申請號: 202110851274.1
• 申請日: 2021-07-27
• 公開（公告）號: CN113689370A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 黃為偉;鄭鈺輝
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 曹蕓

本發明公開了一種基于深度卷積神經網絡的遙感圖像融合方法，屬于遙感圖像處理領域。首先，本發明將低空間分辨率的多光譜遙感影像預先插值到與高空間分辨率的全色影像相同大小，其次，利用深度卷積神經網絡提取全色圖像與多光譜圖像的高頻空間結構特征，最后，將提取到的高頻殘差信息與原始多光譜圖像相加，得到融合后的具有高空間分辨率的多光譜遙感影像。本發明能夠實現低分辨率多光譜影像與高分辨率全色影像的融合，得到結構清晰、空間分辨率高，光譜信息豐富的遙感影像。

技術領域

本發明涉及一種基于深度卷積神經網絡的遙感圖像融合方法，屬于遙感圖像處理領域。

背景技術

近些年，隨著科技發展以及遙感技術的發展，遙感圖像在各種領域中都有著廣泛的應用，例如城市規劃、環境監測、地形勘測等。全色圖像具有高空間分辨率，但是缺少色彩信息，而多光譜圖像具有豐富的光譜信息，但空間分辨率較低。為了獲得高空間分辨率的多光譜圖像，在很多情況下，我們通常將低空間分辨率的多光譜圖像與具有豐富空間細節的全色圖像進行融合，從而得到空間域和光譜域的高分辨率圖像，我們稱之為遙感圖像全色銳化。遙感圖像全色銳化在分類、目標檢測、圖像分割等方面有著廣泛的使用。

迄今為止，已經提出了大量的遙感圖像融合方法，主要分為以下四類方法：1)基于成分替代的方法；2)基于多分辨率分析的方法；3)基于模型的方法；4)基于深度學習的方法。基于成分替代的方法主要思想是通過投影變換，用高分辨率全景圖像代替低分辨率質譜圖像的空間成分?；诙喾直媛史治龅姆椒ㄊ峭ㄟ^小波變換、拉普拉斯金字塔等方法提取空間結構，然后將其注入上采樣的多光譜圖像?；谀Ｐ偷姆椒▽⑷诤线^程視為一個不適定的逆優化問題，并基于融合后的圖像構造能量函數。構造通?；谟^測模型和稀疏表示。傳統的圖像融合的方法通常會造成空間信息丟失以及光譜失真的現象。

近些年隨著計算機軟硬件技術的提升，深度學習在各個領域都得到了廣泛應用，尤其在計算機視覺領域，深度學習能夠解決相對復雜的問題。相對于傳統的遙感圖像融合方法，基于深度學習的方法能夠通過卷積神經網絡端對端的學習圖像的高頻結構特征，并且能更好的保持圖像的光譜信息。

發明內容

為了克服現有技術存在的不足，本發明提出了一種基于深度卷積神經網絡的遙感圖像融合方法，該遙感圖像融合方法更加快速高效，空間信息更豐富，光譜保真度更高。

本發明為解決其技術問題采用的技術方案如下：

一基于深度卷積神經網絡的遙感圖像融合方法，包括以下步驟：

步驟1：將原始的低空間分辨率的多光譜遙感圖像以及高空間分辨率的全色遙感圖像分別采用高斯核函數下采樣四倍，再將多光譜圖像上采樣四倍，得到低質量的圖像，將低質量圖像作為輸入；

步驟2：使用20層深度卷積神經網絡，將低質量的多光譜圖像與全色圖像輸入深度卷積神經網絡進行訓練，得到高頻殘差圖像；

步驟3：將得到的高頻殘差圖像與原始的多光譜圖像相加，得到高空間分辨率的多光譜遙感圖像。

步驟1的具體過程如下：

步驟1.1：使用高斯核函數對原始的低空間分辨率的多光譜遙感圖像以及高空間分辨率的全色遙感圖像進行低通濾波，得到降質后的多光譜遙感圖像和全色圖像，以此模擬低分辨率多光譜圖像和全色圖像輸入；

步驟1.2：使用雙立方插值將多光譜遙感圖像放大四倍，使得低質多光譜圖像與全色圖像具有相同的分辨率，并將它們堆疊后作為神經網絡的輸入。

步驟2中所述使用20層深度卷積神經網絡，其構建的神經網絡模型具體為：

特征提取層：L_i＝max(0，W_i*I+B_i)，i＝1，2，3...20