[發明專利]基于多層耦合卷積神經網絡的多光譜遙感圖像Pan-sharpening方法

有效

• 申請號: 201910013887.0
• 申請日: 2019-01-08
• 公開（公告）號: CN109801218B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 吳澤彬;蔡婉婷;錢瑩;徐洋;韋志輝
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 陳鵬

本發明公開了一種基于多層耦合卷積神經網絡的多光譜遙感圖像Pan?sharpening方法，通過兩個卷積自編碼器分別提取輸入圖像與輸出圖像的高層特征，并通過耦合卷積網絡在兩個高層特征間建立特征映射層的同時在網絡的輸入與輸出圖像間建立端到端連接，最終微調整體網絡框架。本發明通過卷積自編碼器的算法充分提取了圖像LM?HR和圖像HR?MS的內在特征，并通過耦合卷積的方式，在兩個內在特征間建立卷積神經網絡并在網絡的輸入與輸出間創建連接形成端到端的網絡，提高了融合精度。

技術領域

本發明屬于圖像融合領域，具體涉及一種基于多層耦合卷積神經網絡的Pan-sharpening方法。

背景技術

為了從多維和宏觀角度理解地球，遙感已成為一種新興技術。遙感圖像是能夠探測并記錄各種地物信息的一種圖像，主要通過航拍攝影或衛星拍攝得到。但是對于一套光學遙感器系統而言，圖像空間分辨率和光譜分辨率是一對矛盾。在給定信噪比的條件下，較高光譜分辨率往往意味著不能同時具有高空間分辨率。為此，提出了遙感圖像融合技術，即Pan-sharpening算法。具體地說，Pan-sharpening算法是一種將高空間分辨率的全色圖像(HR-Pan)的空間細節融入低空間分辨率的多光譜圖像(LR-MS)得到高空間分辨率的多光譜圖像(HR-MS)的方法。其中，圖像LR-MS的光譜特性豐富，但空間信息較少；圖像HR-Pan的空間分辨率較高，但光譜信息較少。而最終融合圖像HR-MS的空間信息和光譜信息都較豐富。傳統的Pan-sharpening算法僅利用了淺層的線性或非線性關系，特征的提取不夠入，得到的融合效果一般。

近年來，深度神經網絡由于含有多個隱含層，具有很強大的學習能力。通過多層次的網絡學習，神經網絡能夠迭代地抽取到輸入數據的更深層次的特征信息。通過深度學習改進Pan-sharpening算法得到的融合圖像質量更高，為圖像后續處理提供了更好的圖像數據基礎，以供其進一步觀察、處理、分析、決策等。因此，越來越多的研究者將深度學習的方法應用于Pan-sharpening算法中。

在基于深度學習的Pan-sharpening算法中，分為訓練階段和測試階段。在訓練階段中，將低分辨率的多光譜圖像LR-MS每一波段上采樣到與圖像HR-Pan同一空間分辨率，再將圖像HR-Pan與上采樣后的圖像LR-Ms沿光譜維連接生成圖像LM-HR，作為輸入圖像。圖像HR-MS作為輸出圖像的參考值。在輸入圖像與輸出圖像之間建立端到端的網絡連接，不斷迭代得到最佳網絡參數值。在測試階段，將低空間分辨率的多光譜測試圖像(Test-LR-MS)輸入到訓練好的神經網絡中，最終得到融合后的高空間分辨率的多光譜測試圖像(Test-HR-MS)。針對Pan-sharpening算法輸入的特殊性，僅僅使用單層神經網絡難以同時提取訓練階段中輸入圖像與輸出圖像的內在特征。為了解決該問題，曾坤在2017年提出了基于耦合自編碼器的超分辨算法，通過聯合學習的方式同時使用兩個自編碼器分別提取低分辨率的自然圖像(LR)和高分辨率的自然圖像(HR)，并且在兩幅圖像的特征之間創建單層非線性映射。自編碼器是神經網絡中常用的提取圖像特征的方法，分為編碼器和解碼器兩部分。編碼器能夠將輸入信息的特征自動地學習出來，再通過解碼器將之前學習的特征復現成類似輸入信息的輸出信息。但是該網絡是無監督學習，無法在圖像間建立聯系，通過聯合學習的思想能很好的解決這一問題，得到理想的融合效果。

自編碼器雖然能夠較好的提取圖像的內在特征，但是圖像必須被展開成單個向量，往往會破壞圖像的空間信息。而在Pan-sharpening算法中，提取的空間信息是至關重要的步驟。因此在提取圖像特征時自編碼器不是最適合的方法，會影響融合圖像的質量。同時，由于自編碼器是全連接層的網絡結構，導致網絡參數過多，對計算機的配置要求過高，不適合進行圖像識別任務。由于全連接神經網絡的梯度無法傳遞超過三層，因此對網絡的層數產生限制。但網絡的層數越多其表達能力越強，因此全連接層限制了網絡的表達能力。

發明內容

本發明的目的在于提供一種基于多層耦合卷積神經網絡的多光譜遙感圖像Pan-sharpening方法。