[發明專利]一種基于深度殘差神經網絡的遙感影像融合方法及系統

在審

• 申請號: 201811623480.1
• 申請日: 2018-12-28
• 公開（公告）號: CN109767412A
• 公開（公告）日: 2019-05-17
• 發明（設計）人: 鄧練兵
• 申請（專利權）人: 珠海大橫琴科技發展有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

本發明公開一種基于深度殘差神經網絡的遙感影像融合方法及系統，對全色影像與多光譜影像分別進行相應倍數的下采樣，獲得訓練樣本；構建深度殘差神經網絡，該網絡為深度卷積結構，輸入深度殘差神經網絡的全色影像和多光譜影像依次經過多個卷積模塊所得的輸出，與輸入的多光譜影像相加構成殘差結構；利用訓練樣本與隨機梯度下降算法對深度殘差神經網絡進行訓練，對于待融合的多光譜影像與全色影像，分別進行相應倍數的下采樣后輸入到訓練好的深度殘差神經網絡中，得到融合后的具備高空間分辨率的多光譜影像。本發明能綜合兩種影像各自的關鍵信息，提高多光譜影像的空間分辨率。

技術領域

本發明屬于遙感影像處理領域，涉及一種對遙感影像進行融合的方法及系統。

背景技術

遙感影像是對地觀測衛星承載信息的主要形式，它能夠充分記錄地表物體的電磁波反射特性，因此可以將其用于城市變化檢測，自然災害監控等重要領域。大部分衛星在對地表進行觀測時會同時獲得該地區的多光譜影像與全色影像，其中多光譜影像記錄了地面目標在多個波段下的電磁波反射特性，而全色影像僅記錄了地面目標在單個波段下的電磁波反射特性。雖然多光譜影像的光譜分辨率較為理想，然而受限于傳感器的物理特性，其空間分辨率不及全色影像。為了恢復出空間分辨率與光譜分辨率均高的理想影像，需要將多光譜與全色影像進行融合。融合后的影像需要同時具備多光譜影像準確的光譜信息以及全色影像豐富的空間細節信息。

遙感影像的融合算法已積淀了豐富的研究歷史，大部分算法可被大致分為基于分量替換的融合算法和于多分辨率分析的融合算法。

基于分量替換的融合算法依賴于關鍵分量的替換。這類算法往往將低空間分辨率的多光譜影像的某一分量替換為全色影像，從而達成提高空間分辨率的目的。同時，這類算法的優勢在于其計算簡單，運行速度快捷，因此被廣泛使用。基于多分辨率分析的融合算法主要利用了一系列多分辨率的分解獲得多光譜影像與全色影像在不同空間尺度下的信息，并在分解后的層面上將全色影像的信息注入到多光譜影像中，從而實現多光譜影像空間分辨率的提升。

發明內容

針對遙感影像融合需要實現的效果，本發明提供了一種遙感影像的融合技術方案，可以對多光譜影像與全色影像進行融合。融合后的影像能夠兼具多光譜影像的光譜分辨率與全色影像的空間分辨率。為實現上述目的，本發明的技術方案主要包括圖像的深度學習技術。在這個技術的支持下，本發明能夠對多光譜影像與全色影像進行有效地融合。

本發明技術方案包括一種基于深度殘差神經網絡的遙感圖像融合方法，包括以下步驟：

步驟a，對全色影像與多光譜影像分別進行相應倍數的下采樣，獲得訓練樣本；

步驟b，構建深度殘差神經網絡，所述深度殘差神經網絡為深度卷積結構，含有m個卷積模塊，輸入深度殘差神經網絡的全色影像和多光譜影像依次經過m個卷積模塊所得的輸出，與輸入的多光譜影像相加構成殘差結構，輸出深度殘差神經網絡的相加結果；

步驟c，利用步驟a中生成的訓練樣本與隨機梯度下降算法對深度殘差神經網絡進行訓練；

步驟d，將待融合的多光譜影像與全色影像輸入到步驟c中訓練好的深度殘差神經網絡中，即可得到融合后的具備高空間分辨率的多光譜影像。

而且，步驟a中，將原始的低空間分辨率的多光譜影像作為真值，將下采樣后的多光譜影像與全色影像作為深度殘差神經網絡的輸入。

而且，m大于等于20。

而且，步驟c中，對深度殘差神經網絡進行訓練時，損失函數為：