[發(fā)明專利]基于遷移學(xué)習(xí)的高光譜空譜聯(lián)合特征提取方法

有效

• 申請?zhí)枺?/td>: 202011633323.6
• 申請日: 2020-12-31
• 公開（公告）號: CN112580670B
• 公開（公告）日: 2022-04-19
• 發(fā)明（設(shè)計(jì)）人: 彭元喜;趙麗媛;楊文婧;周侗;劉煜;黃達(dá);李雪瓊;徐利洋;藍(lán)龍;任靜;楊紹武;徐煒遐
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學(xué)
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/764;G06V10/80;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 國防科技大學(xué)專利服務(wù)中心 43202
• 代理人: 王文惠

1.基于遷移學(xué)習(xí)的高光譜空譜聯(lián)合特征提取方法，其特征在于，步驟為：

S1:將原始高光譜數(shù)據(jù)表示為I∈R^M×N×L，其中I表示高光譜圖像傳感器捕獲的數(shù)據(jù)立方體中的每個(gè)樣本，M是高度，N是寬度，L代表光譜；在進(jìn)行神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練前，首先對原始高光譜圖像進(jìn)行預(yù)處理，采用沿光譜通道進(jìn)行主成分分析PCA操作來對高光譜數(shù)據(jù)降維以降低計(jì)算成本；通過PCA以使光譜通道的數(shù)量從L減少到k，并保持空間尺寸不變；將經(jīng)過PCA預(yù)處理之后的數(shù)據(jù)表示為I∈R^M×N×k，其中k是主成分?jǐn)?shù)目，其中對應(yīng)于RGB通道數(shù)目，k的值設(shè)置為3；

執(zhí)行PCA操作之后，高光譜數(shù)據(jù)表示為I∈R^M×N×3，將高光譜圖像的每個(gè)像素表示為x_ij＝[x₁,x₂,…,x_k]，其中x_ij∈X^L，提取每個(gè)像素周圍的r個(gè)像素組成圖像，將每個(gè)樣本表示如下：

當(dāng)x_ij位于圖像的邊緣時(shí)，對超出圖像邊緣部分進(jìn)行補(bǔ)零操作，由此完成輸入到空間特征提取網(wǎng)絡(luò)的圖像數(shù)據(jù)預(yù)處理；

經(jīng)過預(yù)處理之后，每個(gè)像素都從原始的1D向量轉(zhuǎn)換為大小為(2r+1)×(2r+1)×3的圖片；經(jīng)過數(shù)據(jù)預(yù)處理后，將I∈R^{(2r+1)×(2r+1)×3}作為空間分支的輸入，將I∈R^3×3×L作為光譜分支的輸入；

S2:基于ResNet-18網(wǎng)絡(luò)模型結(jié)構(gòu)提取空間特征，運(yùn)用遷移學(xué)習(xí)的方法使在二維圖像數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練后的網(wǎng)絡(luò)參數(shù)直接遷移在用于提取高光譜數(shù)據(jù)的空間特征的網(wǎng)絡(luò)中，其中，ResNet-18網(wǎng)絡(luò)結(jié)構(gòu)由17個(gè)卷積層和1個(gè)全聯(lián)接層組成，且ResNet-18由堆疊的殘差塊表示，每個(gè)不同卷積結(jié)構(gòu)的殘差塊之間通過stride為2的下采樣聯(lián)接；ResNet-18網(wǎng)絡(luò)采用統(tǒng)一的卷積內(nèi)核大小和池化層內(nèi)核大小，具體為由尺寸大小為3×3的濾波器構(gòu)成卷積層，尺寸為2×2的濾波器構(gòu)成池化層，卷積之后的平均池化操作之后是一個(gè)全聯(lián)接層，ResNet-18結(jié)構(gòu)最后一層的FC層包含1000個(gè)通道，模型的最后一部分由SoftMax分類器用于執(zhí)行分類；用于空間特征提取的遷移模型刪除了ResNet-18結(jié)構(gòu)的FC層，重新添加了一個(gè)神經(jīng)元數(shù)目為1024的FC層，其余保持不變作為空間分支網(wǎng)絡(luò)；

S3:將1D CNN網(wǎng)絡(luò)用于高光譜的光譜特征提取，其中1D CNN網(wǎng)絡(luò)由三個(gè)卷積核大小為1×1、過濾器大小為512的卷積層和三個(gè)2×2大小的最大池化層以及一個(gè)含有1024個(gè)神經(jīng)元的全聯(lián)接層相接構(gòu)成；在分別通過1D CNN和ResNet-18提取光譜和空間特征后，將來自空間和光譜分支的最后兩個(gè)完全連接的層連接在一起，如下所示：

其中F表示空譜聯(lián)合特征的級聯(lián)FC層，代表空間分支的FC層，代表光譜分支的最后一個(gè)FC層；通過將兩個(gè)全聯(lián)接層進(jìn)行融合實(shí)現(xiàn)空譜聯(lián)合特征提取，最后，將SoftMax分類器添加到輸出以預(yù)測概率；

S4:采取微調(diào)的策略方法把遷移在RGB圖像上預(yù)訓(xùn)練后的ResNet-18模型的網(wǎng)絡(luò)參數(shù)的過程，僅作為替代空間分支模型隨機(jī)初始化的一步，隨后對連帶光譜分支一起的整個(gè)模型進(jìn)行訓(xùn)練，每個(gè)參數(shù)均在新的訓(xùn)練過程中被更新優(yōu)化，使得遷移模型對于高光譜數(shù)據(jù)的適應(yīng)性更高，分類效果更好。