[發(fā)明專利]一種多尺度多時(shí)相遙感影像去云的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111505249.4
• 申請(qǐng)日: 2021-12-10
• 公開（公告）號(hào): CN114140701A
• 公開（公告）日: 2022-03-04
• 發(fā)明（設(shè)計(jì)）人: 陳雙;歐陽雯思
• 申請(qǐng)（專利權(quán)）人: 廣西師范大學(xué)
• 主分類號(hào): G06V20/13
• 分類號(hào): G06V20/13;G06V10/40;G06V10/774;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 桂林市華杰專利商標(biāo)事務(wù)所有限責(zé)任公司 45112
• 代理人: 劉梅芳

1.一種多尺度多時(shí)相遙感影像去云的方法，其特征在于，包括如下步驟：

1）訓(xùn)練數(shù)據(jù)處理：獲取多組同一區(qū)域的不同衛(wèi)星的多時(shí)相遙感影像數(shù)據(jù)來構(gòu)成含云序列，對(duì)多時(shí)相含云序列做預(yù)處理，生成帶標(biāo)簽的訓(xùn)練樣本；

2）數(shù)據(jù)擴(kuò)充：由于訓(xùn)練樣本數(shù)過少，為了防止引起過擬合，對(duì)訓(xùn)練樣本進(jìn)行擴(kuò)充，即對(duì)訓(xùn)練樣本進(jìn)行數(shù)據(jù)增強(qiáng)來增加訓(xùn)練樣本數(shù)量；

3）測試數(shù)據(jù)處理：在步驟2）數(shù)據(jù)擴(kuò)充后的訓(xùn)練樣本中選擇四組不同規(guī)模的云污染子圖像，其中兩組為模擬數(shù)據(jù)，兩組為真實(shí)數(shù)據(jù)；

4）搭建多尺度多時(shí)相深度卷積網(wǎng)絡(luò)模型：該模型包括特征提取層、特征融合層和特征重建層；

特征提取層負(fù)責(zé)對(duì)輸入的數(shù)據(jù)進(jìn)行多尺度特征提取，數(shù)據(jù)為一組組的多時(shí)相含云序列，將多時(shí)相含云序列中的待修復(fù)影像作為輸入1，對(duì)輸入1進(jìn)行修復(fù)重建信息，將每組多時(shí)相含云序列的其余影像都為參考影像作為輸入2，輸入2為輸入1進(jìn)行修復(fù)提供了更多的互補(bǔ)信息；

特征融合層負(fù)責(zé)對(duì)由特征提取層所提取的輸入1和輸入2的特征信息進(jìn)行融合，包括通道注意力融合和concat融合；

特征重建層負(fù)責(zé)對(duì)特征融合后的特征進(jìn)行信息重建，即對(duì)特征融合層輸出的多尺度多通道特征映射進(jìn)行重建恢復(fù)；

5）多尺度多時(shí)相深度卷積網(wǎng)絡(luò)模型參數(shù)設(shè)置：對(duì)損失函數(shù)、梯度下降算法、初始學(xué)習(xí)率和迭代次數(shù)進(jìn)行參數(shù)設(shè)置，用于訓(xùn)練步驟4）中搭建好的多尺度多時(shí)相深度卷積網(wǎng)絡(luò)模型；

6）訓(xùn)練多尺度多時(shí)相深度卷積網(wǎng)絡(luò)模型：將步驟2）擴(kuò)充后的數(shù)據(jù)輸入到步驟4構(gòu)建好的多尺度多時(shí)相深度卷積網(wǎng)絡(luò)模型中，采用步驟5）中設(shè)置的參數(shù)進(jìn)行訓(xùn)練，得到多尺度多時(shí)相深度卷積網(wǎng)絡(luò)模型；

7）遙感影像云去除：將步驟3）的模擬數(shù)據(jù)和真實(shí)數(shù)據(jù)輸入到步驟6）訓(xùn)練好的多尺度多時(shí)相深度卷積網(wǎng)絡(luò)模型中，得到云去除的影像重建結(jié)果。

2.根據(jù)權(quán)利要求1所述的多尺度多時(shí)相遙感影像去云的方法，其特征在于，步驟1）所述的不同衛(wèi)星分別為Sentinel-2和Landsat-8，每組含云序列除為待修復(fù)影像外，其它均為參考影像，且所有含云序列的無云像素至少能重建一張無云影像，預(yù)處理操作包括裁剪、線性拉伸和波段合成。

3.根據(jù)權(quán)利要求1所述的多尺度多時(shí)相遙感影像去云的方法，其特征在于，步驟2）所述的數(shù)據(jù)擴(kuò)充包括樣本多角度旋轉(zhuǎn)、裁剪、鏡像，旋轉(zhuǎn)角度從[-180?，180?]中隨機(jī)取值，裁剪大小為400×400。

4.根據(jù)權(quán)利要求2所述的多尺度多時(shí)相遙感影像去云的方法，其特征在于，步驟3）所述的兩組模擬數(shù)據(jù)和兩組真實(shí)數(shù)據(jù)中，一組模擬數(shù)據(jù)和真實(shí)數(shù)據(jù)為Sentinel-2 MSI 在A地采集數(shù)據(jù)的不同子圖像，圖像的尺寸為400×400×3；另一組模擬和真實(shí)數(shù)據(jù)為Landsat-8在B地采集數(shù)據(jù)的不同子圖像，圖像的尺寸為500×500×3。

5.根據(jù)權(quán)利要求1所述的多尺度多時(shí)相遙感影像去云的方法，其特征在于，步驟4）所述的多尺度多時(shí)相深度卷積神經(jīng)網(wǎng)絡(luò)模型中，特征提取層的每個(gè)多尺度特征提取單元由三種卷積核k=3，5，7組成，padding為1、2、3，步長均為1，三種不同大小的卷積核同時(shí)對(duì)輸入影像進(jìn)行卷積濾波，分別提取20個(gè)特征映射；

特征融合層的通道注意力融合是對(duì)多時(shí)相每個(gè)通道的尺度信息分別進(jìn)行通道融合并通過concat將特征信息聚合，再次利用concat將融合后的三個(gè)通道信息進(jìn)行融合得到多尺度多通道融合后的特征映射，遙感地表觀測目標(biāo)通常在不同的局部區(qū)域之間具有多尺度效應(yīng)，因此多尺度多時(shí)相的特征信息更有利于信息重建；

特征重建層在下采樣部分使用了膨脹卷積層來減少特征圖，在上采樣部分使用了轉(zhuǎn)置卷積層來恢復(fù)特征。

6.根據(jù)權(quán)利要求1所述的多尺度多時(shí)相遙感影像去云的方法，其特征在于，步驟5）中所述的損失函數(shù)采用全局-局部損失函數(shù)；梯度下降優(yōu)化算法采用Adam優(yōu)化方法；初始學(xué)習(xí)率為0.001，迭代次數(shù)設(shè)置為200個(gè)epoch。