[發(fā)明專利]基于多尺度機(jī)制和注意力機(jī)制的遙感圖像時空融合方法

有效

• 申請?zhí)枺?/td>: 202010560118.5
• 申請日: 2020-06-18
• 公開（公告）號: CN111754404B
• 公開（公告）日: 2022-07-01
• 發(fā)明（設(shè)計）人: 李偉生;張夏嫣
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 重慶市恒信知識產(chǎn)權(quán)代理有限公司 50102
• 代理人: 陳棟梁

本發(fā)明請求保護(hù)一種基于多尺度機(jī)制和注意力機(jī)制的遙感圖像時空融合方法，包括步驟：S1將高時間、低空間分辨率的圖像和低時間、高空間分辨的圖像分別輸入兩個不同的并行卷積神經(jīng)網(wǎng)絡(luò)，分別提取它們的在不同尺度上的特征圖；S2選擇三個尺度上的特征圖，分別對它們進(jìn)行融合，再將三個尺度上的融合特征圖上采樣到統(tǒng)一尺度，接著把它們?nèi)诤蠟橐粋€特征圖；S3將融合后的特征圖輸入注意力機(jī)制，對特征圖的特征和通道賦予不同的權(quán)值；S4結(jié)合特征圖的權(quán)值，使用全連接層對圖像進(jìn)行重建，得到一張高空間、高時間分辨率的圖像。本發(fā)明提高了遙感圖像時空算法的準(zhǔn)確率，并且在時間效率上具有優(yōu)勢。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及基于多尺度機(jī)制和注意力機(jī)制的遙感圖像時空融合方法。

背景技術(shù)

受限于當(dāng)前硬件技術(shù)和預(yù)算限制，我們獲得的衛(wèi)星圖像在時間和空間分辨率上存在矛盾，比如中分辨率成像光譜儀(Moderate-resolution Imaging Spectroradiometer，MODIS)可以每天或每半天獲取同一區(qū)域的圖像，但是其空間分辨率的范圍為250米到1000米；而美國的陸地衛(wèi)星(Landsat)則能夠獲取空間分辨率為10米到30米的圖像，但是它的重返周期為16天。在實際應(yīng)用中，我們需要高時間和高空間分辨率的衛(wèi)星圖像，因此可以通過時空融合解決這一問題。遙感圖像的時空融合算法在農(nóng)田監(jiān)測、災(zāi)害預(yù)測等方向有著廣泛應(yīng)用。現(xiàn)存的遙感圖像時空融合算法可以分為五大類，分別為基于加權(quán)函數(shù)的算法(Weightfunction-based)、基于貝葉斯的算法(Bayesian-based)、基于解混的算法(Unmixing-based)、混合算法(Hybrid)和基于學(xué)習(xí)的算法(Learning-based)。

時空自適應(yīng)反射融合模型(Spatial and Temporal Adaptive ReflectanceFusion model,STARFM)是最具代表性的基于加權(quán)函數(shù)的算法，后續(xù)許多的時空融合算法都是基于STARFM提出。隨后基于貝葉斯和解混的算法也逐漸多樣化，除了使用單一種類的算法，有一些方法使用了混合算法，例如柔性時空數(shù)據(jù)融合(Flexible Spatiotemporal DataFusion,FSDAF)。近年來，基于學(xué)習(xí)的算法蓬勃發(fā)展，其進(jìn)一步可分為基于字典對學(xué)習(xí)的時空融合算法和基于機(jī)器學(xué)習(xí)的時空融合算法。其中，卷積神經(jīng)網(wǎng)絡(luò)在遙感圖像的時空融合中應(yīng)用得尤其廣泛，許多的方法都證明了卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)越性。

雖然現(xiàn)存時空融合方法多種多樣，但是依然存在很多問題，例如：在異質(zhì)性較高的區(qū)域，算法的融合精度并不高；大多數(shù)算法都使用兩對圖像進(jìn)行時空融合，這對數(shù)據(jù)集的要求較高；基于卷積神經(jīng)網(wǎng)絡(luò)的算法得到的融合圖像通常過于平滑。

發(fā)明內(nèi)容

本發(fā)明旨在建立一個只使用一對遙感圖像進(jìn)行時空融合并且融合精度更高的網(wǎng)絡(luò)框架，該網(wǎng)絡(luò)框架基于卷積神經(jīng)網(wǎng)絡(luò)，同時，致力于解決基于卷積神經(jīng)網(wǎng)絡(luò)的結(jié)果圖像過平滑這一問題。從而提出了一種基于多尺度機(jī)制和注意力機(jī)制的遙感圖像時空融合方法。本發(fā)明的技術(shù)方案如下：

一種基于多尺度機(jī)制和注意力機(jī)制的遙感圖像時空融合方法，其包括以下步驟：

S1、分別將t₀和t₁時刻的高時間、低空間分辨率圖像和t₀時刻的低時間、高空間分辨率圖像輸入第一、第二卷積神經(jīng)網(wǎng)絡(luò)；

S2、融合步驟S1中兩類圖像在三個不同尺度上的特征圖；

S3、將融合結(jié)果輸入注意力機(jī)制，包括以下子步驟，

S3.1、對輸入的特征圖在通道維度進(jìn)行賦值，對特征圖的每一個特征圖賦予不同的權(quán)值；

S3.2、在通道維度對特征圖進(jìn)行賦值后，對特征圖的特征信息進(jìn)行賦值；

S4、將包含權(quán)值的特征圖輸入全連接層，進(jìn)行重建圖像，最后得到t₁時刻的高空間分辨率圖像；