[發(fā)明專利]基于半監(jiān)督學(xué)習(xí)的遙感圖像融合方法、裝置、介質(zhì)及設(shè)備

有效

• 申請?zhí)枺?/td>: 202010894787.6
• 申請日: 2020-08-31
• 公開（公告）號: CN112465733B
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計(jì)）人: 胡建文;杜晨光;胡佩
• 申請（專利權(quán)）人: 長沙理工大學(xué)
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/08;G06N3/04
• 代理公司: 長沙市融智專利事務(wù)所(普通合伙) 43114
• 代理人: 龔燕妮

1.一種基于半監(jiān)督學(xué)習(xí)的遙感圖像融合方法，其特征在于，包括：

步驟1：構(gòu)建并訓(xùn)練空間退化網(wǎng)絡(luò)和光譜退化網(wǎng)絡(luò)；

在訓(xùn)練空間退化網(wǎng)絡(luò)或光譜退化網(wǎng)絡(luò)過程中，計(jì)算光譜退化網(wǎng)絡(luò)或空間退化網(wǎng)絡(luò)輸出的預(yù)測圖像與實(shí)際的目標(biāo)圖像之間的損失，再通過反向傳播算法反復(fù)的優(yōu)化損失，迭代至損失收斂，獲取最終的光譜退化網(wǎng)絡(luò)模型或空間退化網(wǎng)絡(luò)；

步驟2：構(gòu)建融合網(wǎng)絡(luò)；

所述融合網(wǎng)絡(luò)包括依次連接的特征提取單元，特征非線性映射單元以及特征重構(gòu)單元；

其中，所述特征提取單元包括兩個串聯(lián)的卷積層，所述卷積層的卷積核大小為3×3，特征圖個數(shù)為64；所述特征非線性映射單元包括四個依次連接的自適應(yīng)多尺度模塊，所述自適應(yīng)多尺度模塊包括并聯(lián)疊加的多尺度模塊和自適應(yīng)模塊；所述特征重構(gòu)單元包括兩個串聯(lián)的卷積層，所述卷積層的卷積核大小為3×3，特征圖個數(shù)分別為32，4；

步驟3：以利用構(gòu)建的融合網(wǎng)絡(luò)獲取的低分融合圖像、高分融合圖像的損失和最小作為訓(xùn)練目標(biāo)，對融合網(wǎng)絡(luò)進(jìn)行反向傳播訓(xùn)練；

步驟4：將上采樣多光譜圖像以及全色圖像輸入到訓(xùn)練好的融合網(wǎng)絡(luò)中，完成遙感圖像融合；

所述空間退化網(wǎng)絡(luò)包括兩條支路，兩條支路的輸入端相連，兩條支路的輸出端相減得到所述空間退化網(wǎng)絡(luò)的輸出圖像；空間退化網(wǎng)絡(luò)的兩條支路為第一支路和第二支路，其中，第一支路為三個依次連接的卷積層，第二支路的輸入端與第一支路的輸入端相連；所述第一支路中三個卷積層中的卷積核大小分別為9×9，5×5，5×5；所述第一支路中三個卷積層神經(jīng)網(wǎng)絡(luò)中的特征圖個數(shù)分別為48，32和待融合的多光譜圖像波段數(shù)；

所述光譜退化網(wǎng)絡(luò)包括兩條支路，兩條支路的輸入端相連，兩條支路的輸出端相加得到所述光譜退化網(wǎng)絡(luò)的輸出圖像，光譜退化網(wǎng)絡(luò)的兩條支路為第三支路和第四支路，其中第三支路包括三個依次連接的卷積層，第四支路包括一個卷積核為1×1的卷積層，所述第三支路中三個卷積層中的卷積核大小均為3×3，所述第三支路中三個卷積層神經(jīng)網(wǎng)絡(luò)中的特征圖個數(shù)依次為32，8，1；

訓(xùn)練光譜退化網(wǎng)絡(luò)時，光譜退化網(wǎng)絡(luò)的輸入圖像和輸出圖像分別為原始多光譜圖像和同分辨率全色圖像；

訓(xùn)練空間退化網(wǎng)絡(luò)時，空間退化網(wǎng)絡(luò)的輸入圖像和輸出圖像分別為原始多光譜圖像和低分辨率多光譜圖像；

所述融合網(wǎng)絡(luò)獲取低分融合圖像、高分融合圖像的損失和包括三個部分，第一部分為將低分辨率多光譜圖像和全色圖像輸入融合網(wǎng)絡(luò)中得到低分融合圖像和低分融合參考圖像之間的損失，第二部分和第三部分分別為將上采樣多光譜圖像和全色圖像輸入到融合網(wǎng)絡(luò)中得到高分融合圖像，再將高分融合圖像分別輸入訓(xùn)練好的空間退化和光譜退化網(wǎng)絡(luò)中，得到空間退化圖像和光譜退化圖像，以得到的空間退化圖像與上采樣多光譜圖像之間的損失和光譜退化圖像與全色圖像之間的損失。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多尺度模塊包括依次串聯(lián)的卷積單元，所述卷積單元包括三個依次連接的卷積層，第一個卷積層為三個并聯(lián)疊加的空洞卷積，且三個空洞卷積的卷積核大小均為3×3，尺度因子分別為1、2、3，第二層卷積層和第三層卷積層的卷積核大小分別為1×1，3×3；

所述自適應(yīng)模塊包括順序連接的全局平均池化層、兩個全連接層以及sigmoid激活函數(shù)，兩個全連接層的神經(jīng)元個數(shù)分別為8和64，且以全局平均池化層的輸入與sigmoid激活函數(shù)的輸出進(jìn)行相乘運(yùn)算得到的結(jié)果作為自適應(yīng)模塊的輸出。

3.根 據(jù)權(quán)利要求1所 述的方法，其特征在于，采用平方根誤差計(jì)算光譜退化網(wǎng)絡(luò)或空間退化網(wǎng)絡(luò)輸出的預(yù)測圖像與實(shí)際的目標(biāo)圖像之間的損失。

4.根據(jù)權(quán)利要求1所 述的方法，其特征在于，采用均方根誤差計(jì)算所述低分融合圖像、高分融合圖像的損失。

5.根據(jù)權(quán)利要求1所 述的方法，其特征在于，采用光譜損失函數(shù)計(jì)算所述空間退化圖像與上采樣多光譜圖像之間的損失。