[發(fā)明專利]基于層級(jí)特征融合的卷積神經(jīng)網(wǎng)絡(luò)高光譜圖像銳化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910698750.3
• 申請(qǐng)日: 2019-07-31
• 公開（公告）號(hào): CN110544212B
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 賀霖;朱嘉煒
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06V10/82;G06V10/80;G06N3/0464;G06N3/08
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 王東東

1.一種基于層級(jí)特征融合的卷積神經(jīng)網(wǎng)絡(luò)高光譜圖像銳化方法，其特征在于，包括如下步驟：

S1讀取原始高光譜圖像數(shù)據(jù)合成全色圖像數(shù)據(jù)其中L和W分別表示高光譜圖像的長(zhǎng)和寬，b表示波段數(shù)；

S2選取高光譜圖像訓(xùn)練區(qū)域，及其對(duì)應(yīng)的全色圖像區(qū)域作為訓(xùn)練樣本對(duì)，進(jìn)行預(yù)處理后，分塊采樣，得到多個(gè)訓(xùn)練樣本塊；

S3構(gòu)建基于層級(jí)特征融合的卷積神經(jīng)網(wǎng)絡(luò)；

S4利用零均值的高斯分布隨機(jī)初始化各卷積核的權(quán)重和偏置；

S5選用歐氏距離損失函數(shù)作為輸出層，得到網(wǎng)絡(luò)輸出高光譜圖像與理想高光譜圖像之間的歐氏距離，即訓(xùn)練誤差；

S6對(duì)權(quán)重和偏置進(jìn)行迭代更新優(yōu)化，當(dāng)訓(xùn)練誤差維持在預(yù)設(shè)范圍內(nèi)時(shí)，權(quán)重和偏置為最優(yōu)解，即得到基于層級(jí)特征融合的最優(yōu)卷積神經(jīng)網(wǎng)絡(luò)；

S7選取原始高光譜圖像測(cè)試區(qū)域，及與其相應(yīng)的全色圖像區(qū)域作為測(cè)試樣本；

S8將S7的測(cè)試樣本對(duì)直接輸入到S6得到的基于層級(jí)特征融合的最優(yōu)卷積神經(jīng)網(wǎng)絡(luò)得到高空間分辨率的高光譜圖像；

所述基于層次特征融合的卷積神經(jīng)網(wǎng)絡(luò)包括光譜預(yù)測(cè)層Conv1、光譜預(yù)測(cè)層Conv2、空間預(yù)測(cè)層Conv3、空間預(yù)測(cè)層Conv4、拼接層Concat、特征提取層Conv5、淺層特征融合層Conv6、中層特征融合層Conv7、中層特征融合層Conv8、高層特征融合層Conv10及求和層Sum；

所述基于層次特征融合的卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建過(guò)程如下：

S3.1光譜預(yù)測(cè)層Conv1，輸入訓(xùn)練數(shù)據(jù)與64個(gè)空間大小為1×1的卷積核進(jìn)行卷積運(yùn)算，并經(jīng)過(guò)線性整流函數(shù)激活處理，輸出得到64個(gè)特征圖Y₁⁽ⁱ⁾，可表示為：

其中Y₁⁽ⁱ⁾表示第一層光譜預(yù)測(cè)卷積層輸出的特征圖，W₁和B₁分別表示第一層光譜預(yù)測(cè)卷積核的權(quán)重矩陣和偏置矩陣，表示線性整流函數(shù)；

S3.2光譜預(yù)測(cè)層Conv2，輸入上一層的輸出，與64個(gè)空間大小為1×1的卷積核進(jìn)行卷積運(yùn)算，并經(jīng)過(guò)線性整流函數(shù)激活處理，輸出得到64個(gè)特征圖Y₂⁽ⁱ⁾，本層與Conv1協(xié)同作用，用于對(duì)高光譜圖像的波段有效成分進(jìn)行預(yù)測(cè)，剔除冗余的光譜波段；

S3.3空間預(yù)測(cè)層Conv3，輸入訓(xùn)練數(shù)據(jù)與16個(gè)空間大小為3×3的卷積核進(jìn)行卷積運(yùn)算，并經(jīng)過(guò)線性整流函數(shù)激活處理，輸出得到16個(gè)特征圖

S3.4空間預(yù)測(cè)層Conv4，輸入上一層的輸出，與16個(gè)空間大小為3×3的卷積核進(jìn)行卷積運(yùn)算，并經(jīng)過(guò)線性整流函數(shù)激活處理，輸出得到16個(gè)特征圖Y₄⁽ⁱ⁾，本層與Conv3協(xié)同作用，用于將全色圖像轉(zhuǎn)換為特征圖的形式，能夠有效地提取其空間信息；

S3.5拼接層Concat，輸入Y₂⁽ⁱ⁾和Y₄⁽ⁱ⁾，將兩者在光譜維度進(jìn)行拼接，輸出具有80個(gè)波段的數(shù)據(jù)；

S3.6特征提取層Conv5，輸入上一層的輸出，與16個(gè)空間大小為3×3的卷積核進(jìn)行卷積運(yùn)算，并經(jīng)過(guò)線性整流函數(shù)激活處理，輸出16個(gè)特征圖Y₅⁽ⁱ⁾；

S3.7淺層特征融合層Conv6，輸入上一層的輸出和輸入，將上一層的輸入和輸出在光譜維度進(jìn)行拼接，得到具有96個(gè)波段的數(shù)據(jù)，再與16個(gè)空間大小為3×3的卷積核進(jìn)行卷積運(yùn)算，并經(jīng)過(guò)線性整流函數(shù)激活處理，輸出16個(gè)特征圖Y₆⁽ⁱ⁾；

S3.8中層特征融合層Conv7，輸入上一層的輸出和輸入，將上一層的輸入和輸出在光譜維度進(jìn)行拼接，得到具有112個(gè)波段的數(shù)據(jù)，再與16個(gè)空間大小為3×3的卷積核進(jìn)行卷積運(yùn)算，并經(jīng)過(guò)線性整流函數(shù)激活處理，輸出16個(gè)特征圖Y₇⁽ⁱ⁾；

S3.9中層特征融合層Conv8，輸入上一層的輸出和輸入，將上一層的輸入和輸出在光譜維度進(jìn)行拼接，得到具有128個(gè)波段的數(shù)據(jù)，再與16個(gè)空間大小為3×3的卷積核進(jìn)行卷積運(yùn)算，并經(jīng)過(guò)線性整流函數(shù)激活處理，輸出16個(gè)特征圖Y₈⁽ⁱ⁾；

S3.10高層特征融合層Conv9，輸入上一層的輸出和輸入，將上一層的輸入和輸出在光譜維度進(jìn)行拼接，得到具有144個(gè)波段的數(shù)據(jù)，再與16個(gè)空間大小為3×3的卷積核進(jìn)行卷積運(yùn)算，并經(jīng)過(guò)線性整流函數(shù)激活處理，輸出16個(gè)特征圖Y₉⁽ⁱ⁾；

S3.11高層特征融合層Conv10，輸入上一層的輸出和輸入，將上一層的輸入和輸出在光譜維度進(jìn)行拼接，得到具有160個(gè)波段的數(shù)據(jù)，再與b個(gè)空間大小為1×1的卷積核進(jìn)行卷積運(yùn)算，并經(jīng)過(guò)線性整流函數(shù)激活處理，輸出b個(gè)特征圖Y₁₀⁽ⁱ⁾；

S3.12求和層Sum，輸入上一層的輸出和兩者進(jìn)行對(duì)應(yīng)元素點(diǎn)相加，輸出b個(gè)特征圖Y₁₁⁽ⁱ⁾，即預(yù)測(cè)的高空間分辨率的高光譜圖像。