[發(fā)明專(zhuān)利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的輕量化多光譜圖像融合模型構(gòu)建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310270912.X
• 申請(qǐng)日: 2023-03-10
• 公開(kāi)（公告）號(hào): CN116309225A
• 公開(kāi)（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 任佳;李艷;怡勇;田杰;杜進(jìn)橋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳供電局有限公司
• 主分類(lèi)號(hào): G06T5/50
• 分類(lèi)號(hào): G06T5/50;G06N3/0464;G06N3/0455;G06N3/096;G06T5/00;G06V10/46;G06V10/80;G06V10/82;G06N3/048
• 代理公司: 深圳匯智容達(dá)專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 44238
• 代理人: 潘中毅

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的輕量化多光譜圖像融合模型構(gòu)建方法，其特征在于，包括：

步驟S1，構(gòu)建基于深度可分離卷積和ReLU6激活函數(shù)的卷積結(jié)構(gòu)塊；

步驟S2，構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的圖像重建網(wǎng)絡(luò)；

步驟S3，構(gòu)建基于像素?fù)p失和結(jié)構(gòu)相似性損失的第一損失函數(shù)；

步驟S4，對(duì)所述圖像重建網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并采用所述第一損失函數(shù)進(jìn)行優(yōu)化；

步驟S5，構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)殘差融合網(wǎng)絡(luò)；

步驟S6，構(gòu)建用于優(yōu)化所述動(dòng)態(tài)殘差融合網(wǎng)絡(luò)的第二損失函數(shù)；

步驟S7，對(duì)所述動(dòng)態(tài)殘差融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并采用所述第二損失函數(shù)進(jìn)行優(yōu)化。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S1構(gòu)建的卷積結(jié)構(gòu)塊由6層組成，第一層為3×3深度逐通道卷積層，第2、3層分別為批量化層和ReLU6激活函數(shù)層，第4層為1×1逐點(diǎn)卷積層，第5、6層分別為批量化層和ReLU6激活函數(shù)層。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S2構(gòu)建的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像重建網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)與特征重建網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)用于實(shí)現(xiàn)對(duì)輸入的多光譜圖像的特征提取、特征升維，所述特征重建網(wǎng)絡(luò)用于將提取好的特征在通道維度進(jìn)行特征壓縮、特征降維，最后重建復(fù)原出輸入的多光譜圖像。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述特征提取網(wǎng)絡(luò)采用在ImageNet上預(yù)訓(xùn)練的ResNet-50中的前四層和第一個(gè)殘差塊相連組成的結(jié)構(gòu)，用于將RGB的3通道的圖像特征升維放大到256個(gè)通道；所述特征重建網(wǎng)絡(luò)的第一、三層為上采樣層，用于放大特征圖；第二、四層為深度可分離卷積層，用于將256個(gè)通道的特征圖還原為3個(gè)通道。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S3構(gòu)建的基于像素?fù)p失和結(jié)構(gòu)相似性損失的第一損失函數(shù)，如以下公式所示：

L_total＝L_pixel+λL_ssim

其中，L_pixel和L_ssim表示輸入圖像和輸出圖像之間的像素?fù)p失和結(jié)構(gòu)相似性損失，λ表示L_pixel和L_ssim之間的權(quán)衡值；

像素?fù)p失的計(jì)算公式如下所示：

其中，O和I分別表示輸出和輸入圖像，‖·‖_F是Frobenius范數(shù)；

結(jié)構(gòu)相似性損失的計(jì)算公式如下所示：

L_ssim＝1-SSIM(O,I)

其中，SOIM表示結(jié)構(gòu)相似性度量。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S4中，訓(xùn)練數(shù)據(jù)集采用公開(kāi)數(shù)據(jù)集MS-COCO2014中的4000張RGB圖像，基于pytorch深度學(xué)習(xí)框架，運(yùn)行設(shè)備為NvidiaGeForce?RTX3090，設(shè)置batch_size為32，進(jìn)行10輪訓(xùn)練，總共進(jìn)行1250次迭代，讀取圖像后送入特征提取網(wǎng)絡(luò)提取圖像高維特征后再送入特征重建網(wǎng)絡(luò)中，由特征重建網(wǎng)絡(luò)重建輸入圖像。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S5中，在編碼器后引入所述動(dòng)態(tài)殘差融合網(wǎng)絡(luò)，首先將多光譜圖像對(duì)分別送入編碼器網(wǎng)絡(luò)中，經(jīng)編碼器網(wǎng)絡(luò)分別提取出兩幅圖像的高維特征后，使用所述動(dòng)態(tài)殘差融合網(wǎng)絡(luò)進(jìn)行特征融合。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述動(dòng)態(tài)殘差融合網(wǎng)絡(luò)由6個(gè)深度可分離卷積層組成，其中第六層深度可分離卷積層采用殘差連接結(jié)構(gòu)，輸入為兩幅圖像的高維特征，輸出連接到經(jīng)前5層深度可分離卷積層得到輸出并直接進(jìn)行相加，最終得到融合特征圖。